Claude में टोकन क्या होते हैं और कैसे काम करते हैं? हमने 3.8 बिलियन गिने

Claude के आसपास यह शब्द हर जगह मिलता है: कीमतों की सूची में, सीमा वाले संदेश में, /usage में, पैसे बचाने वाले हर लेख में। लगभग कोई नहीं बताता कि टोकन है क्या, और लोग जिस आंकड़े को देखते हैं वह शायद ही कभी असल में मायने रखता है। Claude जवाब में जो लिखता है, वह एक कोडिंग सत्र की कुल गिनती का एक प्रतिशत से भी छोटा हिस्सा है।

तो हमने अपने टोकन गिने। एक Mac पर Claude Code सत्रों के तीस दिन, 10 सितंबर से 9 अक्टूबर 2026 तक: 388 सत्र, मॉडल को 19,668 अनुरोध, 3.8 बिलियन टोकन। यह लेख बताता है कि टोकन क्या है, Claude उन्हें किन चार तरीकों से गिनता है, और असली काम पर ये आंकड़े कैसे दिखते हैं।

टोकन पाठ का एक टुकड़ा है, और टुकड़े का आकार बदलता है

मॉडल अक्षर या शब्द नहीं पढ़ता। वह टोकन पढ़ता है: एक तय शब्दावली से लिए गए पाठ के टुकड़े, कभी पूरा छोटा शब्द, अक्सर शब्द का एक हिस्सा, और किसी ऐसी चीज़ के लिए जिसे उसने कभी नहीं देखा, कभी एक अकेला कैरेक्टर या बाइट। सब कुछ इन्हीं टुकड़ों में गिना जाता है: आप जो भेजते हैं, Claude जो लिखता है, और वह जो एक टर्न से दूसरे टर्न तक रखता है।

एक टोकन में कितना पाठ समाता है, यह मॉडल और भाषा पर निर्भर करता है। Anthropic की शब्दावली Claude 4.7 से पहले के मॉडलों पर प्रति टोकन लगभग 3.5 अंग्रेज़ी कैरेक्टर बताती है, और कहती है कि Claude 4.7 व उसके बाद के मॉडल एक नया टोकनाइज़र इस्तेमाल करते हैं जो उसी पाठ के लिए लगभग 30% ज़्यादा टोकन बनाता है। सटीक गिनती सिर्फ़ टोकन काउंटिंग एंडपॉइंट से मिलती है, उसी मॉडल के साथ जिसे आप इस्तेमाल करने वाले हैं।

हमने यह अनुपात अपने ही पाठ पर मापा। हमारे एजेंट फ़्रेंच में जवाब देते हैं, इसलिए हमने सिर्फ़ सादे पाठ वाले जवाब लिए, बिना थिंकिंग, बिना टूल कॉल, बिना कोड ब्लॉक, कम से कम 80 शब्दों के: Opus 5, Opus 5.5, Fable 5.1 और Sonnet 5.5 में बँटे 296 जवाब। मीडियन 2.3 कैरेक्टर प्रति टोकन था, यानी प्रति शब्द लगभग 2.6 टोकन। कोड, JSON और गैर-लैटिन लिपियाँ अलग अनुपात देती हैं। असली बात सटीक आंकड़ा नहीं है: टोकन एक शब्द से छोटा होता है, और आप इन्हें कभी हाथ से नहीं गिनते।

हर अनुरोध चार काउंटरों पर गिना जाता है

Claude Code हर सत्र को ~/.claude/projects/ के नीचे एक JSONL ट्रांसक्रिप्ट में लिखता है। मॉडल के हर जवाब के साथ एक usage ब्लॉक होता है। यह रहा हमारे ट्रांसक्रिप्ट से एक असली ब्लॉक, सिर्फ़ काम के फ़ील्ड रखकर:

"usage": {
  "input_tokens": 2,
  "cache_creation_input_tokens": 51836,
  "cache_read_input_tokens": 24882,
  "output_tokens": 315,
  "output_tokens_details": { "thinking_tokens": 54 },
  "cache_creation": {
    "ephemeral_1h_input_tokens": 51836,
    "ephemeral_5m_input_tokens": 0
  }
}

चार काउंटर, और इनकी कीमत एक जैसी नहीं है:

• input_tokens: प्रॉम्प्ट का वह हिस्सा जो न कैश में लिखा जाता है न कैश से पढ़ा जाता है, जिसका बिल बेस इनपुट कीमत पर बनता है। Claude Code में यह लगभग हमेशा मुट्ठी भर टोकन होता है, क्योंकि लगभग सब कुछ कैश से होकर जाता है।
• cache_creation_input_tokens: प्रॉम्प्ट का वह हिस्सा जो कैश में स्टोर किया जाता है ताकि अगला अनुरोध उसे दोबारा इस्तेमाल कर सके। कैश राइट की कीमत 5 मिनट के कैश के लिए इनपुट कीमत का 1.25 गुना और 1 घंटे के कैश के लिए 2 गुना है। हमारे ट्रांसक्रिप्ट में 97% राइट 1 घंटे वाले थे।
• cache_read_input_tokens: प्रॉम्प्ट का वह हिस्सा जो कैश से दोबारा चलाया जाता है। कैश रीड की कीमत ज़्यादातर मॉडलों पर इनपुट कीमत का 0.1 गुना, Opus 5.5 और Sonnet 5.5 पर 0.05 गुना, और Fable 5.1 पर 0.025 गुना है (Anthropic का प्रॉम्प्ट कैशिंग पेज, 10 अक्टूबर 2026 को जाँचा गया)।
• output_tokens: Claude जो लिखता है, थिंकिंग समेत। हर मौजूदा मॉडल पर आउटपुट की कीमत इनपुट कीमत की 5 गुना है: Opus 5.5 पर 20 डॉलर प्रति मिलियन, Opus 5 पर 25, Fable 5.1 पर 50, Sonnet 5.5 पर 10।

पहले तीन को जोड़ें तो वह कॉन्टेक्स्ट मिलता है जो मॉडल ने इस अनुरोध के लिए पढ़ा। चौथा जवाब है।

हमारे सत्रों के 30 दिन कैसे दिखते हैं

19,668 अनुरोधों पर, हर अनुरोध को एक बार गिनकर (एक API कॉल ट्रांसक्रिप्ट की कई पंक्तियों में फैल सकती है):

लागत वाला कॉलम हर अनुरोध की कीमत उसके अपने मॉडल और उसकी अपनी कैश अवधि से लगाता है। हम यह रकम नहीं चुकाते: ये सत्र एक सब्सक्रिप्शन पर चले। यह हर काउंटर का वज़न है, वही वेटिंग जो AgentsRoom किसी प्लान के प्रतिशत को प्रोजेक्टों में बाँटने के लिए इस्तेमाल करता है।

तीन निष्कर्ष।

लगभग हर टोकन वह बातचीत है जिसे दोबारा पढ़ा जा रहा है। 97.7% टोकन कैश रीड हैं। 99.2% अनुरोध कैश से कुछ न कुछ पढ़ते हैं। जब लोग कहते हैं कि किसी सत्र ने "50 मिलियन टोकन खर्च किए", तो वे यही देख रहे होते हैं।

Claude जो लिखता है वह टोकन में छोटा है, लागत में छोटा नहीं। 0.34% टोकन, बिल का 16.8%, क्योंकि आउटपुट सबसे महँगा टोकन है। उस आउटपुट का 29% थिंकिंग था।

कैश राइट महँगा सरप्राइज़ हैं। 2% टोकन, 37% लागत। हमें उम्मीद थी कि ये कैश की मियाद खत्म होने से आते होंगे, लेकिन 19,668 में से सिर्फ़ 16 अनुरोधों को ठंडा कॉन्टेक्स्ट दोबारा लिखना पड़ा, जिनमें से सात एक घंटे से ज़्यादा की चुप्पी के बाद थे। 79% राइट बस हर नया संदेश और हर टूल परिणाम है, जो इनपुट कीमत के दोगुने पर एक बार स्टोर होता है और फिर आगे के हर टर्न पर दोबारा पढ़ा जाता है। बाकी 20% हर सत्र का पहला अनुरोध है।

हर टर्न के साथ सत्र भारी क्यों होता जाता है

मॉडल दो अनुरोधों के बीच कुछ नहीं रखता। Claude Code हर बार सब कुछ दोबारा भेजता है: सिस्टम प्रॉम्प्ट, टूल की परिभाषाएँ, CLAUDE.md, हर संदेश, हर पढ़ी गई फ़ाइल, हर कमांड का आउटपुट। कैश दोहराए गए हिस्से को प्रति टोकन सस्ता बनाता है, मुफ़्त नहीं, और छोटा भी नहीं।

प्रति अनुरोध पढ़ा गया मीडियन कॉन्टेक्स्ट, सत्र में उसकी जगह के हिसाब से:

मीडियन अनुरोध ने 290 टोकन का जवाब लिखने के लिए 179,000 टोकन का कॉन्टेक्स्ट पढ़ा। यही अनुपात एक कोडिंग एजेंट में टोकन की पूरी कहानी है: जवाब छोटा है, पढ़ना लंबा है, और पढ़ना सत्र के साथ बढ़ता जाता है।

हमारा पहला अनुरोध भारी है, किसी के कुछ भी टाइप करने से पहले 52,000 टोकन, क्योंकि हमारे एजेंट एक लंबे रोल ब्रीफ़ और चार MCP सर्वरों के साथ शुरू होते हैं जिनकी टूल परिभाषाएँ प्रॉम्प्ट में बैठी होती हैं। किसी खाली फ़ोल्डर में एक सादा Claude Code सत्र इससे काफ़ी नीचे से शुरू होता है। /context दिखाता है कि पहले संदेश से पहले आपका सत्र क्या लेकर चल रहा है।

एक सत्र कितना खर्च करता है

कम से कम तीन अनुरोधों वाले 380 सत्रों पर:

• मीडियन 33 अनुरोध, बीच के आधे हिस्से के लिए 16 से 61।
• मीडियन 27,000 आउटपुट टोकन, 12,000 से 48,000।
• मीडियन 5.4 मिलियन प्रोसेस किए गए टोकन, बीच के आधे हिस्से के लिए 1.5 से 10.7 मिलियन, जिनमें से 5.1 मिलियन कैश रीड थे।
• मीडियन 181,000 टोकन कैश में लिखे गए या बिना कैश भेजे गए: वह हिस्सा जो वाकई नया था।
• API की आधिकारिक कीमतों पर मीडियन 4.55 डॉलर, बीच के आधे हिस्से के लिए 1.81 से 9.25।

तो "एक कोडिंग सत्र कितने टोकन खर्च करता है" का ईमानदार जवाब लगभग एक से दस मिलियन की रेंज है, जिसमें लगभग सब कुछ वही कॉन्टेक्स्ट है जो दोबारा पढ़ा गया। जो सत्र पूरी दोपहर एक लंबे काम पर चलता है वह रेंज के ऊपरी सिरे पर होता है; जो सत्र एक बग ठीक करके रुक जाता है वह निचले सिरे पर।

5 घंटे की अवधि और हफ़्ता असल में क्या गिनते हैं

Pro या Max प्लान पर आपको कभी टोकन बैलेंस नहीं दिखता। Anthropic का हेल्प सेंटर कहता है कि दोनों प्लान में पाँच घंटे की सत्र सीमा और एक साप्ताहिक सीमा होती है, कि ये सीमाएँ Claude और Claude Code (IDE समेत) के बीच साझा होती हैं, और कि Max प्लान में Fable के लिए एक अलग साप्ताहिक सीमा है। इनमें से किसी के लिए भी वह टोकन का कोई आंकड़ा प्रकाशित नहीं करता। /usage हर अवधि का एक प्रतिशत दिखाता है, और वह समय जब वह रीसेट होती है।

Anthropic की अपनी सूची के अनुसार यह प्रतिशत इन चीज़ों से बढ़ता है: संदेश की लंबाई, अटैचमेंट का आकार, मौजूदा बातचीत की लंबाई, टूल का इस्तेमाल, मॉडल का चुनाव, एफ़र्ट लेवल, और कई चरणों वाले काम। ऊपर की तालिकाओं के साथ पढ़ें तो "मौजूदा बातचीत की लंबाई" वह कारक है जो एक कोडिंग सत्र पर हावी रहता है: हर अनुरोध पर पढ़ा गया कॉन्टेक्स्ट पचास अनुरोधों में 52,000 से बढ़कर 237,000 टोकन हो जाता है। हेल्प सेंटर यह भी कहता है कि प्रोजेक्टों में कैश की गई सामग्री दोबारा इस्तेमाल होने पर आपकी सीमाओं में कम गिनी जाती है, जो कैश रीड की कीमत वाला ही विचार है।

हम नहीं जानते कि Anthropic टोकन को किसी अवधि के प्रतिशत में कैसे बदलता है, और हम कोई रूपांतरण गढ़ेंगे नहीं। डेटा जो ज़रूर बताता है वह यह है कि एक लंबे सत्र में देर से आया अनुरोध, उसी सवाल के लिए, शुरुआती अनुरोध से कई गुना ज़्यादा गिना जाता है।

व्यवहार में गिनती को क्या बदलता है

चार लीवर, उस क्रम में जिसमें वे हमारे डेटा पर मायने रखते हैं:

• असंबंधित कामों के बीच /clear। Anthropic इसे "गुणवत्ता और लागत दोनों के लिए सबसे असरदार अकेला लीवर" कहता है। पुराने सत्र में नया काम हर अनुरोध पर पुराने काम के कॉन्टेक्स्ट की कीमत चुकाता है।
• लंबा सत्र जारी रखते समय /compact। यह इतिहास को एक छोटे सारांश से बदल देता है, ताकि अगले अनुरोध कम पढ़ें।
• ध्यान रखें कि कॉन्टेक्स्ट में क्या आ रहा है। 20,000 टोकन की कोई फ़ाइल रीड या कमांड आउटपुट इनपुट कीमत के दोगुने पर एक बार लिखा जाता है, फिर सत्र खत्म होने तक आगे के हर अनुरोध पर दोबारा पढ़ा जाता है। पूरी फ़ाइल के बजाय सिर्फ़ ज़रूरी पंक्तियाँ पढ़ना दो बार फ़ायदा देता है।
• मॉडल और एफ़र्ट। हमारे आउटपुट का 29% थिंकिंग था, और आउटपुट सबसे महँगा टोकन है। रोज़मर्रा के काम पर कम एफ़र्ट लेवल आउटपुट घटाता है, और सस्ता मॉडल एक साथ हर कीमत घटा देता है।

हमारे डेटा पर जिसका कोई असर नहीं दिखा: सत्र को निष्क्रिय छोड़ देना। हमारे ट्रांसक्रिप्ट में Claude Code जो 1 घंटे का कैश इस्तेमाल करता है, उसके साथ 30 दिनों में ठंडा री-राइट 16 बार हुआ।

कम खर्च करने के और तरीकों के लिए पढ़ें Claude Code टोकन की लागत कैसे घटाएँ।

अपने टोकन गिनें

ऊपर की तालिका एक ऐसी स्क्रिप्ट से निकली है जिसकी कोई डिपेंडेंसी नहीं है। यह मशीन पर मौजूद हर Claude Code ट्रांसक्रिप्ट पढ़ती है, हर अनुरोध को एक बार गिनती है, और चारों काउंटर और सत्रों के मीडियन प्रिंट करती है। अगर आपको कोई समय-सीमा चाहिए तो o["timestamp"] पर एक फ़िल्टर जोड़ें।

import json, glob, os, statistics as st
from collections import defaultdict

FIELDS = ("input_tokens", "cache_creation_input_tokens",
          "cache_read_input_tokens", "output_tokens")
totals, sessions = defaultdict(int), []
for path in glob.glob(os.path.expanduser("~/.claude/projects/*/*.jsonl")):
    seen, session = set(), defaultdict(int)
    with open(path, errors="ignore") as fh:
        for line in fh:
            try: o = json.loads(line)
            except ValueError: continue
            msg = o.get("message") or {}
            usage = msg.get("usage") if isinstance(msg, dict) else None
            if o.get("type") != "assistant" or not usage: continue
            rid = o.get("requestId") or o.get("uuid")
            if rid in seen: continue   # one API call can span several lines
            seen.add(rid)
            session["requests"] += 1
            for f in FIELDS:
                n = usage.get(f) or 0
                totals[f] += n
                session[f] += n
    if session["requests"] >= 3: sessions.append(session)

grand = sum(totals[f] for f in FIELDS)
for f in FIELDS:
    print(f"{f:30s} {totals[f]:>15,} {100 * totals[f] / grand:6.2f}%")
for key in ("requests", "output_tokens", "cache_read_input_tokens"):
    print(f"median per session, {key}: {st.median(s[key] for s in sessions):,.0f}")

अपने हिस्सों की तुलना हमारे हिस्सों से करें। कैश रीड वाली पंक्ति वह बातचीत है जिसे दोबारा पढ़ा गया, और कैश राइट वाली पंक्ति वह है जो नया था: ये दोनों आपके बिल के बारे में आउटपुट वाली पंक्ति से ज़्यादा बताती हैं।

AgentsRoom इसे कहाँ दिखाता है

स्क्रिप्ट आपको एक महीना देती है। जब आप काम कर रहे होते हैं, AgentsRoom हर एजेंट के लिए वही काउंटर दिखाता है: हर सत्र के कंपोज़र में एक टोकन बैज जो सत्र भारी होने पर लाल हो जाता है, एक सत्र मॉनिटर जिसमें इनपुट, आउटपुट, कैश राइट, कैश रीड और कैश हिट रेट होते हैं, और एक सत्र ट्रेस जो सत्र को टर्न दर टर्न दोबारा चलाकर दिखाता है कि किस फ़ाइल रीड या किस टूल परिणाम ने कॉन्टेक्स्ट भरा। यूसेज पैनल आपके प्लान के बताए प्रतिशत को आपके प्रोजेक्टों और एजेंटों में बाँटता है, हर सत्र को इस हिसाब से तौलकर कि API कीमतों पर उसकी लागत क्या होती, वही वेटिंग जो ऊपर की तालिका में है।

इनमें से कोई भी आपको टोकन बैलेंस नहीं देता, क्योंकि आपके प्लान में ऐसा कोई बैलेंस है ही नहीं। उस सवाल के लिए पढ़ें Claude में आपके कितने टोकन बचे हैं। वे आउटपुट टोकन किस रफ़्तार से आते हैं, इसके लिए पढ़ें Claude Code के टोकन प्रति सेकंड, मापे गए।

अक्सर पूछे जाने वाले सवाल

Claude में टोकन क्या है?

वह इकाई जिसमें Claude पाठ पढ़ता और लिखता है: किसी शब्द का एक टुकड़ा, कभी पूरा छोटा शब्द, कभी एक अकेला कैरेक्टर या बाइट। Anthropic के अनुसार इसका आकार मॉडल और भाषा पर निर्भर करता है: Claude 4.7 से पहले के मॉडलों पर एक टोकन लगभग 3.5 अंग्रेज़ी कैरेक्टर का होता था, और Claude 4.7 व उसके बाद के मॉडल एक नया टोकनाइज़र इस्तेमाल करते हैं जो उसी पाठ के लिए लगभग 30% ज़्यादा टोकन बनाता है। Claude जो कुछ भी करता है वह टोकन में मापा जाता है: आप जो भेजते हैं, वह जो जवाब में लिखता है, और जो वह एक टर्न से दूसरे टर्न तक अपने कैश में रखता है।

Claude का एक टोकन कितने कैरेक्टर या शब्दों के बराबर होता है?

यह भाषा और पाठ पर निर्भर करता है। Anthropic के मुताबिक Claude 4.7 से पहले के मॉडलों पर एक टोकन में लगभग 3.5 अंग्रेज़ी कैरेक्टर होते हैं, और Claude 4.7 व उसके बाद उसी पाठ के लिए लगभग 30% ज़्यादा टोकन बनते हैं। सितंबर और अक्टूबर 2026 में हमारे एजेंटों के फ़्रेंच में लिखे 296 सादे-पाठ जवाबों पर एक टोकन 2.3 कैरेक्टर का था, यानी प्रति शब्द लगभग 2.6 टोकन। कोड, JSON और गैर-लैटिन लिपियाँ अलग अनुपात देती हैं। सटीक गिनती के लिए Anthropic का टोकन काउंटिंग एंडपॉइंट पाठ और मॉडल लेकर गिनती बताता है।

Claude Code इतने ज़्यादा टोकन क्यों खर्च करता है?

क्योंकि हर अनुरोध पूरी बातचीत दोबारा भेजता है: सिस्टम प्रॉम्प्ट, टूल की परिभाषाएँ, CLAUDE.md, अब तक का हर संदेश और हर टूल परिणाम। हमारे 19,668 अनुरोधों में मीडियन अनुरोध 290 टोकन का जवाब लिखने के लिए 179,000 टोकन का कॉन्टेक्स्ट लेकर गया, और कॉन्टेक्स्ट सत्र के पहले अनुरोध पर 52,000 टोकन से बढ़कर पचास अनुरोधों के बाद 237,000 हो गया। कैश इस दोबारा पढ़ने को प्रति टोकन सस्ता बनाता है, लेकिन इसकी गिनती फिर भी होती है।

एक सामान्य Claude Code सत्र कितने टोकन खर्च करता है?

10 सितंबर से 9 अक्टूबर 2026 के बीच दर्ज तीन या ज़्यादा अनुरोधों वाले हमारे 380 सत्रों पर: मीडियन 33 अनुरोध, 27,000 आउटपुट टोकन और कुल 5.4 मिलियन प्रोसेस किए गए टोकन, जिनमें से 5.1 मिलियन कैश रीड थे। आधे सत्र 1.5 से 10.7 मिलियन टोकन के बीच रहे। API की आधिकारिक कीमतों पर वह मीडियन सत्र लगभग 4.55 डॉलर का पड़ता; Pro या Max प्लान पर वही काम इसके बजाय 5 घंटे की अवधि और साप्ताहिक अवधि में से गिना जाता है।

क्या थिंकिंग टोकन गिने जाते हैं?

हाँ। थिंकिंग टोकन हर usage ब्लॉक में output_tokens का हिस्सा होते हैं, साथ में एक thinking_tokens फ़ील्ड होता है जो बताता है कि आउटपुट का कितना हिस्सा थिंकिंग था। API पर इनका बिल आउटपुट की कीमत पर बनता है, और Anthropic एफ़र्ट लेवल को उन चीज़ों में गिनता है जिनसे प्लान की उपयोग सीमाएँ जल्दी खत्म होती हैं। हमारे डेटा में मॉडलों ने जो कुछ लिखा उसका 29% थिंकिंग था।

कैश राइट और कैश रीड टोकन में क्या फ़र्क़ है?

कैश राइट प्रॉम्प्ट के एक हिस्से को स्टोर करता है ताकि अगला अनुरोध उसे दोबारा इस्तेमाल कर सके, और यह सादे इनपुट से महँगा पड़ता है: 5 मिनट के कैश के लिए इनपुट कीमत का 1.25 गुना, 1 घंटे के कैश के लिए 2 गुना। कैश रीड उस स्टोर किए गए हिस्से को दोबारा इस्तेमाल करता है और बहुत कम खर्च करता है: ज़्यादातर मॉडलों पर इनपुट कीमत का 0.1 गुना, Opus 5.5 और Sonnet 5.5 पर 0.05 गुना, Fable 5.1 पर 0.025 गुना। हमारे सत्रों में कैश रीड टोकन का 98% और आधिकारिक कीमतों पर लागत का 46% थे; कैश राइट टोकन का 2% और लागत का 37% थे।