Til modelidagi token

Token (inglizcha token — belgi, ramz) — tokenlashtirish natijasida hosil qilinadigan hamda yirik til modeli (LLM) tomonidan kirish yoki chiqish ketma-ketligining elementi sifatida foydalaniladigan matn yoxud xizmat ma’lumotlarining diskret birligi. Bu til modeli ishlaydigan matnning eng kichik, bo‘linmas birligidir. Tokenlashtirgichga qarab, token butun so‘zga, so‘zning bir qismiga, alohida belgiga (jumladan, bo‘sh joy belgilariga), tinish belgisiga yoki maxsus boshqaruv markeriga mos kelishi mumkin.

Muayyan tokenlashtirgichda har bir tokenga uni ifodalovchi raqamli identifikator (token ID) biriktiriladi. Bu identifikator modelga uzatiladigan ketma-ketlikda tokenni ifodalash uchun ishlatiladi. Tokenlashtirgich dastlabki matnni tokenlar va ularga mos identifikatorlar ketma-ketligiga aylantiradi; shundan so‘ng model ushbu identifikatorlardan keyingi qayta ishlash jarayonida foydalanadi.

Atamaning kelib chiqishi va rivojlanishi

«token» atamasi qadimgi ingliz tilidagi tācen («belgi», «ramz», «alomat») so‘zidan kelib chiqqan. Bu atamani til mantiqi va falsafasiga amerikalik faylasuf hamda semiotik Charlz Pirs «tur va nusxa o‘rtasidagi munosabat» tushunchasi doirasida kiritgan (ingl. type — token). Bu qarama-qarshi tushunchalar juftligida tilning mavhum birligi (masalan, lug‘atdagi so‘z) tur (type), uning matndagi aniq ifodasi yoki uchrashi esa — token (token).

«Token» tushunchasi axborotni qayta ishlash usullari murakkablashib borishi bilan izchil rivojlangan:

  • Leksik tahlilda (kompilyatorlarda): Informatika rivojlanishi bilan bu atama dastur boshlang‘ich kodini tahlil qilishda leksik analizator ajratib oladigan belgilarning eng kichik toifasini (leksemani), masalan, kalit so‘z, identifikator yoki operatorni anglatadigan bo‘ldi.
  • Tabiiy tilni an’anaviy qayta ishlashda (NLP): An’anaviy NLP vazifalarida token deganda matnda butun bir so‘z yoki tinish belgisining muayyan uchrashi tushunilgan. Masalan, «ona romni yuvdi, ona charchadi» jumlasida 5 ta so‘z-token, ammo so‘zlarning atigi 4 ta noyob turi mavjud («ona» so‘zi bir turga tegishli 2 ta alohida token sifatida uchraydi).
  • Zamonaviy til modellarida (LLM): Neyron tarmoq arxitekturalari va so‘z qismlariga ajratish algoritmlariga (Byte-Pair Encoding, WordPiece va Unigram kabi) o‘tilishi bilan token tushunchasi butun so‘z chegaralariga bog‘liqligini yo‘qotdi. LLM doirasida token model lug‘atida o‘z raqamli identifikatoriga ega bo‘lgan matnning eng kichik diskret birligiga — so‘z qismi, alohida belgi yoki baytga aylandi.

Birlikning o‘ziga xos xususiyatlari

Til modeli token ichidagi alohida harflar yoki belgilarni «ko‘rmaydi». Uning uchun token yaxlit blok hisoblanadi.

Til modellari doirasida token, avvalo, matnni ifodalashning texnik birligi bo‘lib, morfema, so‘z yoki bo‘g‘in kabi tilshunoslik birliklari bilan aynan bir xil emas. Tokenlashtirish natijasida so‘zning morfemalarga ajralishiga o‘xshash ketma-ketliklar hosil bo‘lishi mumkin, biroq tokenlashtirish algoritmi tilning morfologik tuzilishini hisobga olishi shart emas. Masalan, bitta so‘z bitta token bilan, kam uchraydigan yoki uzun so‘z esa bir nechta so‘z qismi tokenlari bilan ifodalanishi mumkin. Bunda tokenlar chegarasi morfemalar chegarasiga to‘g‘ri kelmasligi mumkin.

Masalan, bitta so‘z bitta token bilan, kam uchraydigan yoki uzun so‘z esa bir nechta so‘z qismi tokenlari bilan ifodalanishi mumkin. Bunda tokenlar chegarasi morfemalar chegarasiga to‘g‘ri kelmasligi mumkin.

Bir xil matn bo‘lagini tokenlashtirishning mumkin bo‘lgan variantlari:

Matn bo‘lagiMumkin bo‘lgan ifodalanishi
so‘zbitta token yoki bir nechta token
uzun yoki kam uchraydigan so‘zbir nechta so‘z qismi tokenlari
so‘zning bir qismialohida token
tinish belgisialohida token yoki boshqa tokenning bir qismi
bo‘sh joy belgisitokenlashtirgichga qarab mustaqil element, tokenning bir qismi yoki maxsus marker

Matnning aynan qanday bo‘linishi ishlatilayotgan tokenlashtirgich, uning lug‘ati va tokenlashtirish qoidalariga bog‘liq. Masalan, bir xil so‘z turli modellarda turlicha miqdordagi tokenlardan iborat bo‘lishi mumkin.

Tokenlashtirgichga bog‘liqlik

Tokenlashtirgich (ingl. tokenizer) — kirish matnini neyron tarmoqqa uzatishdan oldin uni tokenlar (lug‘at indekslari) ketma-ketligiga ajratadigan, shuningdek, yaratilgan tokenlarni qaytadan inson o‘qiy oladigan matnga aylantiradigan maxsus algoritm yoki dasturiy modul.

Har bir tokenlashtirgichning tokenlar va ularga mos raqamli identifikatorlardan iborat o‘z lug‘ati (vocabulary) bo‘ladi. Lug‘at va tokenlashtirish qoidalari tokenlashtirgichni matnlar korpusida o‘qitish jarayonida shakllantirilishi mumkin. Bitta tokenlashtirgichdan bir nechta model foydalanishi mumkin, shu bois lug‘at har bir model uchun alohida va noyob bo‘lishi shart emas.

Bir xil matn ishlatilayotgan tokenlashtirgich, model, kodlash usuli va tilga qarab turli miqdordagi tokenlarga ajratilishi mumkin. Shunga ko‘ra, tokenning raqamli identifikatorini ham universal deb bo‘lmaydi: bir xil token ID turli lug‘atlarda turli tokenlarga mos kelishi mumkin.

Ba’zi tokenlashtirgichlar bo‘sh joy belgilarining joylashuvini tokenning bir qismi sifatida hisobga oladi. Masalan, bayt juftliklarini kodlash (Byte-pair encoding)[ingl.] usulining ayrim variantlarida bo‘sh joy belgisi keyingi token tarkibiga kirishi mumkin. Shu sababli  the va the ketma-ketliklari turlicha ifodalanishi mumkin. SentencePiece tizimida bo‘sh joy belgilari tokenlashtirgich lug‘atiga kiritilgan (U+2581) maxsus belgisi orqali ifodalanishi mumkin.

Maxsus tokenlar

Dastlabki matn bo‘laklariga bevosita mos keladigan tokenlardan tashqari, muayyan tokenlashtirgich yoki model maxsus tokenlar (special tokens)dan ham foydalanishi mumkin. Ular modelga qo‘shimcha tuzilmaviy axborotni yetkazish uchun mo‘ljallangan.

Masalan, ularga quyidagilar kirishi mumkin:

  • BOS (beginning of sequence) — ketma-ketlik boshlanishini bildiruvchi marker;
  • EOS (end of sequence) — ketma-ketlik tugashini bildiruvchi marker;
  • PAD (padding — to‘ldirish) — ketma-ketliklar uzunligini tenglashtirish uchun ishlatiladigan to‘ldiruvchi token;
  • UNK (unknown) — noma’lum elementlarni ifodalovchi maxsus token;
  • kirish ma’lumotlari tuzilishini yoki xabarlar chegarasini, masalan, ayrim suhbat modellarida replikaning boshlanishi va tugashini bildiruvchi maxsus tokenlar.

Maxsus tokenlar to‘plami muayyan tokenlashtirgich va modelga bog‘liq. Ular har bir lug‘atda bo‘lishi shart emas. Masalan, BERT oilasiga mansub modellarda [CLS], [SEP], [PAD], [MASK] va [UNK].

Bayt darajasidagi ifodalashga asoslangan ayrim zamonaviy tokenlashtirgichlarda noma’lum element uchun maxsus token kerak bo‘lmasligi mumkin. Masalan, bayt darajasidagi BPE (byte-level BPE) har qanday matnni baytlar ketma-ketligi orqali ifodalay oladi.

Modellarda qo‘llanilishi

Tokenlashtirish til modeli matnni qayta ishlashining dastlabki bosqichlaridan biridir. Dastlabki matn satri raqamli identifikatorlarga ega tokenlar ketma-ketligiga aylantiriladi. Keyin ushbu identifikatorlar tokenlarning vektor ko‘rinishidagi ifodalarini hosil qilish va neyron tarmoqda keyingi qayta ishlash uchun ishlatiladi.

Muayyan tokenlashtirgich taniy oladigan tokenlar majmui uning lug‘atini (vocabulary) tashkil etadi. Lug‘at hajmi tokenlashtirgich parametrlaridan biri bo‘lib, ishlatilayotgan algoritm va uning sozlamalariga bog‘liq. Masalan, bayt darajasidagi BPE lug‘ati asosiy bayt qiymatlari va ularning keyingi birlashtirishlari natijalarini o‘z ichiga olishi mumkin.

Tokenlashtirish algoritmlari

Zamonaviy til modellarida so‘z qismlari bo‘yicha tokenlashtirish (subword tokenization) keng qo‘llaniladi. Bu usul butun so‘zlar va alohida belgilar darajasidagi tokenlashtirish orasidagi oraliq yondashuvdir. U ko‘p uchraydigan so‘zlar yoki ularning qismlarini alohida tokenlar sifatida saqlash, kam uchraydigan va noma’lum so‘zlarni esa ma’lum so‘z qismlari kombinatsiyasi orqali ifodalash imkonini beradi.

So‘z qismlari bo‘yicha tokenlashtirishning eng keng tarqalgan algoritmlari:

  • Byte Pair Encoding (BPE) — dastlab asosiy birliklardan boshlanib, eng ko‘p uchraydigan yonma-yon juftliklarni takroran birlashtirish orqali kattaroq tokenlarni shakllantiradigan algoritm. Tilni qayta ishlashda BPE kam uchraydigan va noma’lum so‘zlarni so‘z qismlari ketma-ketligi ko‘rinishida ifodalash uchun taklif etilgan.
  • WordPiece — jumladan, BERT[ingl.] oilasiga mansub modellarda ishlatiladigan so‘z qismlari algoritmi. Klassik BPEdan farqli ravishda, birlashtiriladigan birliklarni tanlash mezoni ularning birgalikda uchrash ehtimolini baholashga asoslanadi.
  • Unigram — ehtimollik baholari berilgan nomzod birliklar to‘plamidan foydalanib, matnni tokenlarga bo‘lishning eng ehtimolli variantini tanlaydigan algoritm.

SentencePiece — so‘z qismlari bo‘yicha tokenlashtirish kutubxonasi bo‘lib, BPE yoki Unigram algoritmlarini dastlabki matnga, uni bo‘sh joylar bo‘yicha oldindan majburiy ajratmasdan, bevosita qo‘llashi mumkin. Bu bo‘sh joylar so‘zlar chegarasini ko‘rsatmaydigan tillarda, masalan, xitoy yoki yapon tillarida yagona yondashuvdan foydalanish imkonini beradi.

So‘z qismlari bo‘yicha tokenlashtirish til modellariga kam uchraydigan va ilgari uchramagan so‘zlar bilan ishlash imkonini beradi: har bir so‘zni lug‘atga to‘liq kiritish o‘rniga, u ma’lum so‘z qismlari birikmasi orqali ifodalanadi.

Samaradorlikni o‘lchash birligi

Tokenlar soni yirik til modellari (LLM) ishini baholashdagi asosiy miqdoriy ko‘rsatkichlardan biridir. So‘zlar yoki belgilar sonidan farqli ravishda, tokenlar soni model matnning nechta diskret birligini qayta ishlashi kerakligini bevosita aks ettiradi.

LLMdagi token nafaqat matnni ifodalash birligi, balki model ishlashining muhim o‘lchovidir: tokenlar soni orqali kontekst sig‘imi, qayta ishlanadigan axborot hajmi, matn yaratish tezligi va modeldan foydalanishning yakuniy qiymati tavsiflanadi.

Token nafaqat foydalanuvchilarning joriy so‘rovlarini bajarishda, balki modelni dastlabki o‘qitish bosqichida ham universal o‘lchov birligi hisoblanadi. Bu bosqichda o‘quv ma’lumotlari to‘plamlari hajmi milliardlab va trillionlab tokenlar bilan o‘lchanadi.

Kontekst oynasi

Kontekst oynasi[ingl.] (ingl. Context Window) — yirik til modeli (LLM) so‘rovni qayta ishlash va javob yaratish vaqtida bir paytning o‘zida xotirada saqlab, hisobga ola oladigan axborotning eng katta hajmidir (neyron tarmoqning «qisqa muddatli xotirasi»). Kontekst oynasining hajmi tokenlarda belgilanadi va u faqat foydalanuvchining oxirgi so‘rovi matnini emas, balki suhbatdagi oldingi xabarlarni, tizim ko‘rsatmalarini, vositalardan foydalanish natijalarini hamda modelga uzatilgan boshqa ma’lumotlarni ham qamrab oladi.

Demak, kontekst oynasi chegarasi so‘zlar yoki belgilar bilan emas, tokenlar bilan belgilanadi. Belgilar soni bir xil bo‘lgan matn til va tokenlashtirgichga qarab turli miqdordagi tokenni egallashi mumkin.

Hisoblash yuklamasi

Model bilan ishlashdagi hisoblashlar hajmi tokenlar soniga bevosita bog‘liq. Matn uzunlashgan sari kirish ma’lumotlarini o‘qish bosqichidagi yuklama ortadi, javob yaratish davomida esa har bir yangi token alohida hisoblash bosqichini talab qiladi.

Kontekst uzunligi, ayniqsa, transformer arxitekturasiga asoslangan modellar uchun muhim. Klassik o‘z-o‘ziga e’tibor (self-attention) mexanizmida matnni qayta ishlash paytida model har bir tokenni mavjud boshqa tokenlar bilan taqqoslaydi. Shu sababli matn uzunligi ikki baravar oshsa, ichki bog‘lanishlar soni va hisoblashlar hajmi taxminan to‘rt baravar ortadi. Natijada uzun matnlar bilan ishlash GPU resurslari va xotirasini ancha ko‘proq talab qiladi, garchi zamonaviy optimallashtirish usullari bu yuklamani kamaytirishga yordam bersa ham.

Matn yaratishda hisoblash yuklamasi avval qayta ishlangan kirish tokenlari soniga ham, yaratilayotgan tokenlar soniga ham bog‘liq. Zamonaviy tizimlarda avval qayta ishlangan tokenlar uchun odatda KV-kesh (Key-Value Cache) ishlatiladi. U har bir keyingi token yaratilganda oldingi tokenlarning ifodalarini qaytadan hisoblash zaruratini bartaraf etadi.

Matn yaratish tezligi

LLM ishlash tezligini baholash uchun ko‘pincha bir soniyada yaratiladigan tokenlar soni (tokens per second, tok/s yoki TPS) qo‘llaniladi. Bu ko‘rsatkich model vaqt birligida nechta chiqish tokenini yarata olishini bildiradi.

Matn yaratish tezligi faqat tokenlar soniga emas, modelning hajmi va arxitekturasiga, ishlatilayotgan uskunaga, paket hajmiga (batch size), kontekst uzunligiga, kvantlash rejimiga va boshqa parametrlarga ham bog‘liq. Shuning uchun soniyasiga tokenlar ko‘rsatkichi, avvalo, modellar yoki konfiguratsiyalar bir xil yoxud o‘zaro taqqoslanadigan sharoitlarda solishtirilganda mazmunli bo‘ladi.

Interaktiv ilovalar uchun birinchi yaratilgan token paydo bo‘lguncha ketadigan kechikish vaqti ham muhim (time to first token, TTFT). Bu vaqt keyingi tokenlarni yaratish tezligidan sezilarli darajada farq qilishi mumkin va, xususan, kirish kontekstini qayta ishlashga sarflangan vaqtga bog‘liq.

Foydalanish xarajatlari

Tokenlar soni tijorat LLM xizmatlaridan foydalanish narxini hisoblashning ham asosiy birliklaridan biridir. API xizmatlarida odatda kirish (input tokens) va chiqish (output tokens) tokenlari alohida hisobga olinadi; ayrim tizimlarda keshdagi tokenlar va tokenlarning boshqa toifalari uchun ham alohida tarif belgilanadi yoki ular alohida hisoblanadi.

Shunday qilib, LLM bilan ishlashda tokenlar soni bir vaqtning o‘zida bir nechta turli parametrni ifodalaydi:

ParametrTokenlar bilan bog‘liqligi
Kontekst oynasimodel bir vaqtning o‘zida hisobga oladigan tokenlarning eng ko‘p soni
Kirish ma’lumotlari uzunligimodelga uzatiladigan tokenlar soni
Javob uzunligiyaratiladigan chiqish tokenlari soni
Matn yaratish tezligibir soniyada yaratiladigan chiqish tokenlari soni
Hisoblash yuklamasijumladan, kirish ketma-ketligi uzunligi va yaratiladigan tokenlar soniga bog‘liq
APIdan foydalanish narxiko‘plab xizmatlarda kirish va chiqish tokenlari soniga bog‘liq

Ko‘p modalli modellar

Zamonaviy ko‘p modalli modellar doirasida token atamasi faqat matn birliklariga nisbatan ishlatilmaydi. Model arxitekturasiga qarab tasvir bo‘laklari yoki audio signal fragmentlari kabi boshqa ma’lumot turlarining diskret ifodalari ham token deb atalishi mumkin.

Bunda atamaning aniq ma’nosi model arxitekturasiga bog‘liq: vizual token yoki audiotoken dastlabki ma’lumotlar darajasida matn tokenining aynan o‘xshashi bo‘lishi shart emas.