Til modeli — so‘zlar ketma-ketligi bo‘yicha ehtimolliklar taqsimotidir. Uzunligi m bo‘lgan har qanday so‘zlar ketma-ketligi uchun til modeli ehtimollikni butun ketma-ketlikka belgilaydi. Til modellari bir yoki bir nechta tildagi matnlar korpusi asosida o‘qitilish orqali ehtimolliklarni hosil qiladi. Tillar juda ko‘p grammatik jihatdan to‘g‘ri gaplarni ifodalashga imkon berishini (bu hodisa diskret cheksizlikdeb ataladi) hisobga olsak, tilni modellashtirish o‘quv ma’lumotlarida uchramagan, ammo lingvistik jihatdan to‘g‘ri ketma-ketliklarga noldan katta ehtimollik berish muammosiga duch keladi. Bu muammoni hal qilish uchun turli yondashuvlar ishlab chiqilgan, jumladan, Markov zanjirlaridan foydalanish yoki neyron arxitekturalar, masalan, rekurrent neyron tarmoqlar yoxud transformerlardan foydalanish.
Til modellari kompyuter lingvistikasisohasidagi ko‘plab vazifalarni hal qilishda foydali: dastlab ular nutqni tanib olish jarayonida ma’nosiz (ya’ni ehtimolligi past) so‘zlar ketma-ketligining hosil bo‘lishiga yo‘l qo‘ymaslik uchun qo‘llangan bo‘lsa, keyinchalik mashina tarjimasi (masalan, tarjima variantlarini baholash), tabiiy tilni generatsiya qilish (insonga xos matnga yaqinroq matn yaratish), so‘z turkumlarini belgilash, sintaktik tahlil, belgilarni optik tanib olish, qo‘lyozma matnni tanib olish, grammatik xulosa chiqarish, axborot qidirish va boshqa amaliy vazifalarda ham keng foydalanila boshlandi.
Til modellari axborot qidirishda so‘rovlarning ehtimollik modelida[ingl.]ishlatiladi. Unda to‘plamdagi har bir hujjatga alohida til modeli biriktiriladi. Hujjatlar so‘rovning Q hujjat til modelidagi : ehtimolligi asosida tartiblanadi. Bu maqsadda odatda unigramma til modelidan foydalaniladi.
Modellar turlari
Unigramma
Unigramma modelini bir nechta chekli avtomatning bir holatli kombinatsiyasi sifatida tasavvur qilish mumkin. Bunda ketma-ketlikdagi tokenlarning ehtimolliklari bir-biridan mustaqil deb hisoblanadi. Masalan:
Bu modelda har bir so‘zning ehtimolligi faqat shu so‘zning hujjatda uchrash ehtimolligiga bog‘liq. Shu bois model birliklari faqat bitta holatga ega chekli avtomatlardan iborat. Avtomatning o‘zi model lug‘atidagi barcha so‘zlar bo‘yicha ehtimolliklar taqsimotiga ega. Quyida hujjatning unigramma modeli ko‘rsatilgan.
| Atamalar | Hujjatdagi ehtimollik |
|---|---|
| esa | 0,1 |
| dunyo | 0,2 |
| yoqadi | 0,05 |
| biz | 0,05 |
| bo‘lishmoq | 0,3 |
| . . . | . . . |
Muayyan so‘rov uchun hosil qilinadigan ehtimollik quyidagicha hisoblanadi:
Turli hujjatlarning unigramma modellarida so‘zlarning ehtimolliklari ham turlicha bo‘ladi. Har bir so‘rovning mos kelish ehtimolligini hisoblash uchun turli hujjatlarning ehtimollik taqsimotlaridan foydalaniladi. Shu ehtimolliklarga ko‘ra hujjatlarni so‘rovga moslik bo‘yicha tartiblash mumkin. Quyida ikki hujjat unigramma modellariga misol keltirilgan:
| Atamalar | Doc1 hujjatidagi ehtimollik | Doc2 hujjatidagi ehtimollik |
|---|---|---|
| esa | 0,1 | 0,3 |
| dunyo | 0,2 | 0,1 |
| yoqadi | 0,05 | 0,03 |
| biz | 0,05 | 0,02 |
| bo‘lishmoq | 0,3 | 0,2 |
| . . . | . . . | . . . |
Axborot qidirishda unigramma til modellari odatda P(term) = 0 bo‘lib qolmasligi uchun silliqlanadi. Keng tarqalgan yondashuv — butun to‘plam uchun maksimal ehtimollik modelini qurish va silliqlash maqsadida ushbu to‘plam modelini har bir hujjatning maksimal ehtimollik modeli bilan chiziqli interpolyatsiya usulida birlashtirishdir.
n-gramma
Bunda n-gramma modelida gapni kuzatish ehtimolligi quyidagicha yaqinlashtiriladi:
Oldingi i- so‘z wi ning undan avvalgi i − 1 ta so‘zdan iborat kontekstda uchrash ehtimolligini, oldingi n − 1 ta so‘zdan iborat qisqartirilgan kontekstda uchrash ehtimolligi orqali yaqinlashtirish mumkin, deb faraz qilinadi (buMarkov xossasining n-tartibli ko‘rinishi). Aniqroq aytganda, n = 3 va i = 2 bo‘lganda, quyidagiga ega bo‘lamiz: .
Shartli ehtimollik n-gramma modelidagi uchrash chastotalari asosida hisoblanadi:
“ bigramma ” va “ trigramma ” til modellari deyilganda n-gramma modellarining n = 2 va n = 3 bo‘lgan ko‘rinishlari tushuniladi.
Odatda n-gramma modellari ehtimolliklari bevosita chastotalarni sanash orqali topilmaydi, chunki bunday modellar ilgari umuman uchramagan n-grammalarga duch kelganda jiddiy muammolarga uchraydi. Buning o‘rniga ilgari uchramagan so‘zlar yoki n-grammalarga ehtimollik massasining bir qismini ajratish uchun turli usullar ishlatiladi. Oddiy «bir qo‘shish» silliqlashi ilgari kuzatilmagan holatlarga 1 qiymatini berishni nazarda tutadi (bunda n-grammalar uchun informativ bo‘lmagan aprior bahoqo‘llanadi). Shuningdek, murakkabroq modellar ham mavjud, masalan: Gud — Tyuring[ingl.] yoki Kats[ingl.].
Ikki yo‘nalishli model
Ikki yo‘nalishli ifodalar barcha darajalarda oldingi va keyingi kontekstga (masalan, so‘zlarga) birdek bog‘liq bo‘ladi.
Misol
Bigramma til modelida I saw the red house («Men qizil uyni ko‘rdim») gapining ehtimolligi quyidagicha yaqinlashtiriladi:
Trigramma til modelida esa yaqinlashtirish quyidagicha bo‘ladi:
Birinchi n — 1 n-grammaning konteksti gap boshi belgisi bilan to‘ldiriladi. Gap boshi odatda quyidagi belgi bilan ifodalanadi: <s>.
Bundan tashqari, gap tugashini bildiruvchi belgi bo‘lmasa, grammatik jihatdan noto‘g‘ri *I saw the («Men ... ni ko‘rdim» — tugallanmagan gap) ketma-ketligining ehtimolligi har doim undan uzunroq I saw the red house. («Men qizil uyni ko‘rdim».)
Eksponensial model
Til modellari maksimal entropiya tamoyili asosida so‘z bilan uning oldingi konteksti orasidagi bog‘lanishlarni n-gramma belgilari funksiyalari orqali kodlaydi. Tenglama:
bu yerda — statistik yig‘indi[ingl.], — parametrlar vektori, esa belgilar funksiyasidir. Eng oddiy holatda belgilar funksiyasi muayyan n-grammaning mavjudligini ko‘rsatuvchi indikator xolos. Aprior yoki qandaydir regulyarizatsiya usulidan foydalanish foydalidir.
Logbilinear model ham eksponensial til modelining yana bir namunasidir.
Neyron tarmoqli model
Neyron til modellari (yoki uzluksiz fazoli til modellari) prognoz qilish uchun uzluksiz ifodalardan yoki so‘zlarning vektorli ifodalaridan (word embeddings) foydalanadi. Ushbu modellar neyron tarmoqlarga asoslanadi.
Uzluksiz fazoga joylashtirish tilni modellashtirishdagi o‘lchamlilik la’nati (curse of dimensionality) muammosini yumshatadi: til modellari tobora kattaroq matnlarda o‘qitilgani sari noyob so‘zlar soni (lug‘at hajmi) oshadi. So‘zlarning mumkin bo‘lgan ketma-ketliklari soni lug‘at hajmiga bog‘liq ravishda eksponensial ravishda ortadi. Bu esa ketma-ketliklar sonining haddan tashqari ko‘pligi tufayli ma’lumotlarning siyrakligi muammosini keltirib chiqaradi. Shu sababli ehtimolliklarni to‘g‘ri baholash uchun statistik usullar talab etiladi. Neyron tarmoqlar so‘zlarni tarmoqdagi vaznlarning nochiziqli kombinatsiyalari shaklida, taqsimlangan usulda ifodalash orqali bu muammodan qochadi. Boshqacha aytganda, neyron tarmoq til funksiyasini taxminan modellashtiradi. Neyron tarmoq arxitekturasi to‘g‘ridan-to‘g‘ri uzatuvchi yoki rekurrentbo‘lishi mumkin. Birinchisi sodda bo‘lsa-da, ikkinchisi ko‘proq uchraydi.
Odatda neyron tarmoqli til modellari ehtimollikka asoslangan tasniflagichlarsifatida yaratiladi va o‘qitiladi; ular ehtimolliklar taqsimotini oldindan aytishni o‘rganadi.
Ya’ni tarmoq muayyan lingvistik kontekstga asoslanib lug‘at bo‘yicha ehtimolliklar taqsimotini prognoz qilishga o‘rgatiladi. Buning uchun neyron tarmoqlarni o‘qitishning odatiy algoritmlari, jumladan, stoxastik gradient tushishi va xatoni teskari tarqatishusullaridan foydalaniladi. Kontekst oldingi so‘zlarning qat’iy belgilangan kenglikdagi oynasi bo‘lishi mumkin. Shunda tarmoq keyingi so‘zni
oldingi belgilar vektoriasosida, ya’ni avvalgi k ta so‘zni ifodalovchi belgilar orqali bashorat qiladi. Yana bir yo‘l — «oldingi» so‘zlar bilan birga «keyingi» so‘zlarni ham belgilar sifatida qo‘llash; bunda baholanayotgan ehtimollik
Bu «so‘zlar xaltasi» (bag-of-words)modeli deb ataladi. Kontekstdagi so‘zlarning belgilar vektorlari uzluksiz amal yordamida birlashtirilsa, bu model uzluksiz so‘zlar xaltasi arxitekturasi (ingl. continuous bag-of-words architecture — uzluksiz so‘zlar xaltasi arxitekturasi, CBOW) deb ataladi.
CBOW modeliga qaraganda sekinroq o‘qitiladigan, ammo biroz yaxshiroq natija beradigan uchinchi yondashuv oldingi vazifani teskarisiga aylantirishdan iborat: neyron tarmoq berilgan so‘zdan uning kontekstini aniqlashni o‘rganadi. Aniqroq aytganda, o‘quv so‘zlari ketma-ketligi berilganda, o‘rtacha logarifmik ehtimollik maksimal darajaga yetkaziladi:
bu yerda k — o‘quv kontekstining hajmi bo‘lib, u markaziy so‘zga bog‘liq funksiya bo‘lishi mumkin. Bu skip-gram til modeli deb ataladi. «So‘zlar xaltasi» va «skip-gram» modellariga asoslangan dastur — word2vec.
Neyron tarmoqli til modellaridan aniq ehtimolliklarni olish o‘rniga odatda tarmoqning «yashirin» qatlamlarida kodlangan taqsimlangan ifodalardan so‘z ifodasi sifatida foydalaniladi. Shunda har bir so‘z no‘lchamli haqiqiy sonli vektorga moslashtiriladi; bu so‘zning vektorli ifodasi (word embedding)deb ataladi, bunda n — chiqish qatlamidan oldingi qatlamning o‘lchami. Skip-gram modellaridagi ifodalarning o‘ziga xos jihati shundaki, ular so‘zlar o‘rtasidagi semantik munosabatlarni chiziqli kombinatsiyalarorqali modellashtiradi va shu yo‘l bilan kompozitsionlik (compositionality)ningbir ko‘rinishini aks ettiradi. Masalan, ayrim shunday modellarda v — w so‘zini uning no‘lchamli vektor ifodasiga o‘tkazuvchi funksiya bo‘lsa, u holda:
bu yerda ≈ belgisi o‘ng tomondagi qiymat chap tomondagi qiymatning eng yaqin qo‘shnisi bo‘lishi kerakligini anglatadi.
Boshqa modellar
Pozitsion til modeli berilgan so‘zlarning matnda, albatta yonma-yon bo‘lmasa ham, bir-biriga yaqin uchrash ehtimolligini baholaydi. Shunga o‘xshash, tushunchalar xaltasi modellari buy_christmas_presentkabi bir nechta so‘zdan iborat iboralar bilan bog‘liq semantikadan foydalanadi; bu iboralar «bugun men juda ko‘p ajoyib Rojdestvo sovg‘alarini sotib oldim» kabi mazmunli gaplarda uchraganida ham shunday bo‘ladi.
Neyron tarmoqlarni qo‘llashdagi muvaffaqiyatlar cheklangan bo‘lsa-da, mualliflar imo-ishora tillarini modellashtirishda boshqa usullar ham zarurligini tan oladilar.
Til modellari
Til modellariga misollar:
- Pathways Language Model (PaLM) — 540 milliard parametrga ega bo‘lgan, Google Research tomonidan ishlab chiqilgan model.
- Universal til modeli (GLaM) — Google Research kompaniyasining 1 trillion parametrli modeli.
- Dialog ilovalari uchun til modellari (Language Models for Dialog Applications, LaMDA) — Google Research kompaniyasining 137 milliard parametrli modeli.
- Megatron-Turing NLG modeli — Microsoft/Nvidia kompaniyalarining 530 milliard parametrli modeli.
- Faktorlarga ajratilgan til modeli[ingl.]
- Keshli til modeli[ingl.] (qarang: kesh)
- Katsning diskontlash modeli
- DreamFusion/Imagen yordamida 3D tasvirlar generatsiyasi — Google Research mahsuloti
- GET3D — Nvidia mahsuloti
- Nvidia kompaniyasining MineClip modeli
- BLOOM: BigScience loyihasining 176 milliard parametrga ega, erkin foydalaniladigan yirik ochiq ko‘p tilli til modeli.
- Generativ oldindan o‘qitilgan transformer (GPT)
- GPT-2[ingl.]: generativ oldindan o‘qitilgan transformer 2 — 1,5 milliard parametrli model.
- GPT-3: 3-avlod generativ oldindan o‘qitilgan transformer; uning kontekst oynasi misli ko‘rilmagan 2048 tokenni tashkil etadi va model 175 milliard parametrga ega (800 GB xotira talab etiladi).
- GPT-3.5/ChatGPT/InstructGPT — OpenAI mahsulotlari
- GPT-NeoX-20B: 20 milliard parametrli ochiq kodli avtoregressiv til modeli.
- BERT[ingl.]: transformerlarga asoslangan ikki yo‘nalishli kodlovchi ifodalari (BERT).
- Meta AI kompaniyasining OPT-175B modeli: 175 milliard parametrga ega yana bir til modeli. Undan sun’iy intellekt tadqiqotchilarining kengroq hamjamiyati foydalanishi mumkin.
- OpenAI kompaniyasining Point-E modeli: 3D modellar generatori.
- Google kompaniyasining RT-1 modeli: amaliy vazifalarni bajaruvchi robotlar uchun model.
- ERNIE-Code — Baidukompaniyasining 560 million parametrli ko‘p tilli kodlash modeli.
- VALL-E 3 soniyalik nutq namunasi asosida matndan nutq sintezlaydi. Model oldindan 60 000 soat inglizcha nutq ma’lumotlarida o‘qitilgan; bu yozuvlar 7000 nafar alohida so‘zlovchiga tegishli (ma’lumotlar to‘plami: LibriLight).
Hugging Face ochiq foydalanishdagi til modellarini joylashtiradi. Dasturchilar ulardan mashinali o‘rganish asosidagi ilovalarni yaratishda foydalanishlari mumkin.
Baholash va etalon mezonlar
Til modellari sifatini baholash asosan insonlar tomonidan odatiy til vazifalari asosida tuzilgan etalon sinovlar bilan solishtirish orqali amalga oshiriladi. Kamroq tanilgan boshqa sinovlar til modelining ichki xususiyatlarini o‘rganadi yoki ikkita modelni o‘zaro taqqoslaydi. Til modellari odatda o‘zgaruvchan bo‘lishi va qabul qilgan ma’lumotlar asosida o‘rganishi uchun yaratilgani sababli, ayrim taklif etilgan baholash usullari o‘rganish tezligini, masalan, o‘rganish egri chiziqlarini tekshirish orqali baholaydi.
Tilni qayta ishlash tizimlarini baholash uchun turli ma’lumotlar to‘plamlari ishlab chiqilgan. Ularga quyidagilar kiradi:
- Lingvistik maqbullik korpusi (Corpus of Linguistic Acceptability);
- GLUE sinovi;
- Microsoft Research parafrazlar korpusi (Microsoft Research Paraphrase Corpus);
- Ko‘p janrli tabiiy tildagi xulosa chiqarish (Multi-Genre Natural Language Inference);
- Tabiiy til interfeysi orqali savollar (Questions through Natural Language Interface);
- Quora savol-javob juftliklari;
- Matndan mantiqiy kelib chiqishni aniqlash;
- Semantik matn o‘xshashligi etaloni (Semantic Textual Similarity Benchmark);
- SQuAD savol-javob sinovi;
- Stenford hissiy ohanglar daraxti (Stanford Sentiment Treebank);
- Winograd NLI.
Tanqid
GPT-3 kabi zamonaviy til modellari ayrim vazifalarda inson qobiliyatiga mos kelishi ko‘rsatilishi mumkin bo‘lsa-da, ularni ishonarli kognitiv modellardeb hisoblash mumkinligi aniq emas. Masalan, rekurrent neyron tarmoqlar odamlar o‘rganmaydigan andozalarni o‘zlashtirishi, ammo odamlar o‘rgana oladigan andozalarni o‘zlashtira olmasligi ko‘rsatilgan.
Adabiyotlar
- Ponte J. M., Kroft V. B. (1998). Axborot qidirishga til modeli asosidagi yondashuv (A Language Modeling Approach to Information Retrieval). Axborot qidirish sohasidagi tadqiqot va ishlanmalar (Research and Development in Information Retrieval). b. 275—281. CiteSeerX 10.1.1.117.4237.
- Song F., Kroft V. B. (1999). Axborot qidirishning umumiy til modeli (A General Language Model for Information Retrieval). Axborot qidirish sohasidagi tadqiqot va ishlanmalar (Research and Development in Information Retrieval). b. 279—280. CiteSeerX 10.1.1.21.6467.
- Chen, Stenli; Joshua Gudman (1998). Tilni modellashtirishda silliqlash usullarining empirik tadqiqi (An Empirical Study of Smoothing Techniques for Language Modeling) (Texnik hisobot). Garvard universiteti. CiteSeerX 10.1.1.131.5458.