Katta til modeli (KTM; ingl. large language model, LLM) — til modeli bo‘lib, neyron tarmoq asosida qurilgan, juda ko‘p parametrga (milliardlab vazn koeffitsiyentlari va undan ortiq) ega modeldir. U dastlab katta hajmdagi belgilanmagan matn ma’lumotlarida o‘z-o‘zini o‘qitish usullari (tashqi o‘qituvchi emas, modelning o‘zi yaratgan psevdobelgilar asosidagi o‘qitish) orqali o‘qitiladi. So‘ngra nozik sozlash (fine-tuning) jarayonida inson fikr-mulohazalariga asoslangan mustahkamlovchi o‘qitish (RLHF) yordamida generatsiya natijalarini inson afzalliklariga (alignment problem) va ko‘rsatmalarga moslashtirish amalga oshiriladi.
Katta til modellari 2017-yildan keyin, navbatdagi sun’iy intellektning jadal rivojlanishi davrida paydo bo‘lib, ommalashdi, chunki aynan ular zamonaviy intellektual vazifalarning keng doirasini samarali hal qila boshladi. Bu holat tabiiy tilni qayta ishlash sohasidagi tadqiqotlar yo‘nalishini avvalgi — muayyan vazifalar uchun ixtisoslashgan, nazoratli o‘qitiladigan modellarni tayyorlash paradigmasidan boshqa yo‘nalishga burdi. Shu bilan birga, sun’iy intellekt va katta til modellari tushunchalarini aralashtirmaslik kerak: sun’iy intellekt keng ko‘lamdagi intellektual masalalarni hal etishni o‘rganuvchi informatika sohasi bo‘lsa, KTM/LLM ko‘plab vositalardan faqat bittasidir (garchi 2020-yillarning o‘rtalarida eng ommabopi bo‘lsa ham). Hatto tasvir, video va audio bilan ishlaydigan multimodal tizimlarga (ya’ni MLLM) aylanganda ham, u mohiyatan universal intellekt emas, balki ketma-ketliklarni bashorat qiluvchi ixtisoslashgan ehtimollik algoritmi bo‘lib qoladi (AGI).
Katta til modellari nomidagi «katta» so‘zi ikki asosiy jihatni — parametrlar soni va o‘qitish ma’lumotlari hajmini anglatadi. Parametrlar — model tilni qayta ishlashda bashoratlar tuzish uchun foydalanadigan o‘zgaruvchilar va vaznlardir. Zamonaviy til modellari o‘lchami yuz millionlab parametrlardan bir trilliondan ortiq parametrgacha yetadi. «Katta» so‘zining ikkinchi jihati o‘qitish ma’lumotlarining ilgari kuzatilmagan hajmiga taalluqli: u bir necha petabaytga yetadi va trillionlab tokenlar — model qayta ishlaydigan, odatda bir necha belgidan iborat matn yoki kodning asosiy birliklarini o‘z ichiga oladi.
Generativ oldindan o‘qitilgan transformerlar (GPT va unga o‘xshash modellar) eng qudratli KTMlar hisoblanadi. Ular qo‘shimcha o‘qitish yoki ko‘rsatmalar orqali muayyan vazifalarga moslasha oladi, tilning sintaktik, semantik va ontologik tuzilishini bashorat qiladi. Ayni paytda, o‘qitish ma’lumotlaridagi noaniqlik va tarafkashlikni ham meros qilib oladi.
Matn bilan ishlashda KTMlar axborotni tahlil qilish va ajratib olish, qisqacha bayon qilish, savollarga javob berish, mantiqiy fikrlash, matn ohangini tahlil qilish, kontent va dastur kodini yaratish, shuningdek, mashina tarjimasi uchun qo‘llanadi. Bu modellarning multimodal imkoniyatlari nutq, audio, tasvir va videolar bilan ishlashni ham qamrab oladi: tasvirlarga izoh yozish, obyektlarni tanish, vizual kontent yaratish, nutqni matnga ko‘chirish va videomateriallarni tahlil qilish shular jumlasidandir.
Tarixi
2017-yilgacha til modellari rivojlanishi tarixida bir qancha muhim yutuqlar kuzatilgan:
- 1990-yillarda IBM statistik til modellashtirish sohasida kashshof bo‘lgan moslashtirish modellarini yaratdi; 2001-yilda 0,3 milliard so‘z asosida o‘qitilgan, tekislash usuli qo‘llangan n-gramma modeli o‘sha davr uchun eng yaxshi perpleksiya ko‘rsatkichiga erishdi;
- 2000-yillarda internetning keng tarqalishi bilan tadqiqotchilar statistik til modellarini o‘qitish uchun katta hajmdagi ma’lumotlar to‘plamlarini («veb korpus sifatida») yaratishni boshladilar;
- 2009-yilga kelib, katta hajmdagi ma’lumotlardan samarali foydalanish imkoniyati tufayli statistik til modellari tilni qayta ishlash vazifalarining aksariyatida ramziy modellardan ustun keldi.
- 2012-yilda neyron tarmoqlar tasvirlarni qayta ishlashda yetakchi bo‘la boshladi, shundan so‘ng ular tilni modellashtirishda ham qo‘llanildi. Google 2016-yilda o‘z tarjima tizimini neyron mashina tarjimasiga (Neural Machine Translation) o‘tkazdi. U ketma-ketlikdan ketma-ketlikka (sequence-to-sequence) yondashuvi yoki chuqur LSTM tarmoqlari yordamida amalga oshirilgan edi, chunki o‘sha paytda transformerlar hali mavjud emas edi.
- 2017-yilda NeurIPS konferensiyasida Google tadqiqotchilari «transformer» arxitekturasini «Diqqat — sizga kerak bo‘lgan barcha narsa» maqolasida taqdim etdilar. Uning maqsadi seq2seq texnologiyasini 2014-yilda takomillashtirish edi. U asosan 2014-yilda Bahdanau va hammualliflar ishlab chiqqan diqqat mexanizmiga tayangan. 2018-yilda BERT modeli taqdim etildi (asl transformerning enkoder va dekoder bloklaridan farqli o‘laroq, u faqat enkoderdan iborat). BERT tezda keng qo‘llanila boshladi. 2023-yildan boshlab esa faqat dekoderli modellar (masalan, GPT) prompting orqali vazifalarni hal qilishda keskin yaxshilangani sababli BERTdan ilmiy va tadqiqot maqsadlarida foydalanish kamaydi.
GPT modellari tarixi katta til modellarining shiddatli evolyutsiyasini aks ettiradi. GPT-1 2018-yilda paydo bo‘lgan bo‘lsa-da, aynan GPT-2 (2019) keng e’tibor qozondi: bunga OpenAIning modeldan zararli maqsadlarda foydalanish xavfi tufayli uni dastlab ommaga chiqarmaslik qarori sabab bo‘ldi. GPT-3 (2020) ham shu yo‘ldan bordi va hozirgacha mahalliy ishga tushirish imkoniyatisiz, faqat API orqali mavjud. Jamiyat e’tiboridagi haqiqiy burilish 2022-yilda iste’molchilar uchun mo‘ljallangan ChatGPT chiqarilganda yuz berdi; u ommaviy axborot vositalarida katta shov-shuv uyg‘otdi. GPT-4 (2023) aniqligi oshgani va multimodal imkoniyatlari bilan tanildi, biroq OpenAI uning arxitekturasi va parametrlar sonini oshkor etmadi. ChatGPTning chiqarilishi katta til modellaridan informatikaning turli sohalarida, jumladan, robototexnika va dasturiy ta’minot yaratishda foydalanishni rag‘batlantirdi. 2024-yilda OpenAI yakuniy javobdan oldin uzun fikrlash zanjirlarini hosil qila oladigan o1 mulohaza yuritish modelini taqdim etdi.
2021-yilda yetakchi texnologik kompaniyalarning qator yangi ishlanmalari paydo bo‘lishi katta til modellari rivojida muhim yutuq bo‘ldi. Ular orasida Transformer-X (Google), GPT-Neo (EleutherAI), XLM-R (Facebook), LaMDA (Google), Copilot (GitHub), GPT-J (EleutherAI), Jurassic-1 (AI21), Megatron-Turing NLG, Codex (OpenAI), WebGPT (OpenAI) va BERT 2 (Google) bor edi. Har bir model tabiiy tilni qayta ishlash (NLP) rivojiga o‘ziga xos hissa qo‘shdi, ammo tadqiqotchilar e’tiborini ayniqsa LoRA o‘qitish usuli tortdi va u sohaning markaziy yo‘nalishlaridan biriga aylandi.
2022-yildan boshlab BLOOM va LLaMA bilan ochiq kodli KTMlar (LLM) ommalashdi, biroq ikkala modelda ham qo‘llanish sohasiga doir cheklovlar mavjud edi. Mistral AI modellari (Mistral 7B va Mixtral 8x7b) esa Apache’ning erkinroq litsenziyasiga ega bo‘ldi.
2022-yil martida GPTQ nomli yangi kvantlash usuli taqdim etildi. U yuzlab milliard parametrli modellarni aniqlikni sezilarli yo‘qotmasdan har bir parametr uchun 3—4 bitgacha siqib, KTMning inferensiyasi uchun zarur videoxotirani ancha qisqartirish imkonini berdi. Natijada KTMlarni oddiy foydalanuvchilar grafik protsessorlarida ishga tushirish keng ommalashdi.
23-may 2023-yilda kvantlangan modellarni sifatni yo‘qotmasdan, kamroq videoxotira bilan tezroq nozik sozlash (fine-tuning) imkonini beruvchi QLoRA (Quantized Low-Rank Adaptation) texnologiyasi taqdim etildi.
2023-yil martida katta til modellarini qo‘shimcha bog‘liqliklarsiz ishga tushirish uchun llama.cpp kutubxonasi taqdim etildi. Dastlab u CPUda ishlash uchun optimallashtirilgan edi. Loyihada buyruq qatori va veb-interfeys mavjud, turli apparat platformalari (x86, ARM, CUDA, Metal) qo‘llab-quvvatlanadi. Tensorlar va metama’lumotlarni saqlash uchun 2023-yil avgustida joriy etilgan GGUF formatidan foydalaniladi, xotira sarfini kamaytiruvchi turli kvantlash usullari ham mavjud.
MoE modellarining tarqalishi 2023-yil dekabridan boshlandi: Mistral AI Mixtral 8x7B — ochiq vaznlarga ega, Apache License 2.0 litsenziyasi asosida tarqatiladigan yuqori sifatli, siyrak ekspertlar aralashmasi (mixture of experts, SMoE) turidagi KTMni chiqardi. U chiqish generatsiyasini olti baravar tezlashtirish hisobiga ko‘p sinovlarda Llama 2 70B’dan ustun keldi.
2023-yildan boshlab ko‘plab KTMlar matndan tashqari tasvir, video va audiokabi turli turdagi ma’lumotlarni qayta ishlash yoki yaratishga imkon beruvchi multimodal xususiyatlarga ega bo‘ldi. Bunday tizimlar «katta multimodal modellar» (LMMs) deb ataldi va til modellarining imkoniyatlarini faqat matnni qayta ishlash doirasidan tashqariga kengaytirdi.
2024-yil aprelidan 2025-yil fevraligacha katta til modellari (LLM) va multimodal modellar (VLM) sohasida ko‘plab muhim ishlanmalar yaratildi. DeepSeek-AI DeepSeek-V2 (2024-yil may) va DeepSeek-V3 (2024-yil dekabr) modellarini taqdim etdi; ularda Multi-head Latent Attention (MLA) asosidagi yangi arxitektura qo‘llanadi. MiniMax kompaniyasi Lightning Attention arxitekturali MiniMax-01’ni 2025-yil yanvarida chiqardi. NVIDIA 2024-yil noyabrida uzun kontekst bilan ishlashni 11 baravar tezlashtiruvchi Star-Attention texnologiyasini yaratdi. Microsoft 2024-yil mayida YOCO (You Only Cache Once) texnologiyasini taqdim etdi. Moonshot AI 2024-yil iyunida LLMlarga samarali xizmat ko‘rsatish uchun Mooncake arxitekturasini chiqardi. TriDao va hammualliflar FlashAttention-3’ni (2024-yil iyul) e’lon qildi, Microsoft esa o‘sha oy uzun kontekst bilan ishlashni tezlashtiruvchi MInference 1.0’ni taqdim etdi.
2024-yil oktabrida Anthropic yangilangan Claude 3.5 Sonnet modeli uchun «computer use» funksiyasini ishga tushirdi; u sun’iy intellektga inson kabi kompyuter interfeyslari bilan ishlash imkonini beradi. Bu Claude’ga ekran tasvirini talqin qilish, kursorni siljitish, tugmalarni bosish va virtual klaviatura orqali matn kiritish imkoniyatini yaratdi. 23-yanvar 2025-yilda OpenAI AQShdagi ChatGPT Pro obunachilari uchun Operator’ni — brauzerda konsert chiptalarini band qilish yoki oziq-ovqatga onlayn buyurtma rasmiylashtirish kabi oddiy vazifalarni bajara oladigan veb-ilovani taqdim etdi. U yangi Computer-Using Agent (CUA) modeliga asoslangan.
2025-yil yanvarida DeepSeek kompaniyasi DeepSeek R1 — 671 milliard parametrga ega, unumdorligi jihatidan OpenAI o1 bilan taqqoslanadigan, biroq ancha kam xarajat bilan ishlaydigan ochiq vaznli modelni chiqardi.
2025-yil fevralida katta til modellariga diffuziya yondashuvini qo‘llaydigan LLaDA (Large Language Diffusion with masking) modeli taqdim etildi.
Xususiyatlari
«Katta til modeli» atamasining rasmiy ta’rifi bo‘lmasa-da, u odatda milliard va undan ko‘p parametrga ega chuqur o‘qitish modellarini anglatadi. KTMlar umumiy maqsadli modellar bo‘lib, faqat bitta vazifaga (masalan, hissiy ohangni tahlil qilish, nomlangan obyektlarni tanish yoki matematik mulohaza yuritish) o‘qitiladigan modellardan farqli ravishda keng ko‘lamdagi vazifalarni juda yaxshi bajaradi. Gapdagi keyingi so‘zni bashorat qilish kabi oddiy vazifalarda o‘qitilganiga qaramay, yetarli darajada o‘qitilgan va parametrlari ko‘p bo‘lgan neyron til modellari inson tilining sintaksis va semantika jihatlarining katta qismini o‘zlashtiradi. Bundan tashqari, katta til modellari dunyo haqidagi keng umumiy bilimlarni namoyon etadi va o‘qitish jarayonida ko‘plab faktlarni «eslab qolish»ga qodir.
Arxitektura turlari
Bir qator arxitekturalar asosini turli o‘zgartirishlar kiritilgan transformer arxitekturasi tashkil etadi. 2018-yildan boshlab transformerning asosiy versiyasi ketma-ket ma’lumotlar uchun chuqur o‘qitishning standart usuliga aylandi. Ilgari esa rekurrent arxitekturalar, jumladan, uzoq va qisqa muddatli xotira modellari keng tarqalgan edi. Muqobil ravishda KTM ikki yo‘nalishli transformerdan (masalan, BERT) foydalanishi mumkin. U avvalgi va keyingi kontekstni hisobga olgan holda so‘zlar bo‘yicha ehtimollik taqsimotini belgilaydi. Keyingi so‘zni bashorat qilish yoki «bo‘sh joylarni to‘ldirish»dan tashqari, KTMlar ma’lumotlar taqsimotini qanchalik tushunishini sinovdan o‘tkazuvchi yordamchi vazifalarda ham o‘qitilishi mumkin. Masalan, keyingi gapni bashorat qilish (NSP) vazifasida modelga gaplar juftligi beriladi va ularning o‘qitish uchun ishlatilgan matn korpusi.

Transformer modeliTransformer arxitekturasi kodlovchi (enkoder) va dekodlovchi (dekoder) bloklardan tashkil topgan ketma-ketliklarni qayta ishlash neyron tarmoq modelidir. Zamonaviy tadqiqotlarda uning turli tuzilmalari samarali ekanligi aniqlangan. Faqat enkoderli modellar (ikki yo‘nalishli) matndagi yashirilgan elementlarni tiklash orqali oldindan o‘qitiladi va mazmunni tushunish vazifalarida ishlatiladi. Faqat dekoderli (avtoregressiv) modellar ketma-ketlikning keyingi elementini bashorat qilishga moslashtirilgan va matn yaratishda samaralidir. To‘liq transformerlar (enkoder-dekoder) esa ikkala qismning afzalliklarini birlashtiradi: enkoder barcha kirish elementlarini qayta ishlaydi, dekoder esa enkoder yaratgan tasvirlardan foydalanib chiqish ketma-ketligini hosil qiladi. Bu ularni qisqa bayon tayyorlash, mashina tarjimasi va savol-javob generatsiyasi uchun qulay qiladi.
Tokenlash
Tokenlash — katta til modellarida (LLM) dastlabki qayta ishlashning muhim bosqichi bo‘lib, matnni token deb ataladigan alohida bo‘laklarga ajratishni anglatadi. Modelning hajmi va turiga qarab, token sifatida belgilar, so‘z qismlari yoki butun so‘zlar ishlatilishi mumkin. LLMlarda WordPiece, UnigramLM va Byte Pair Encoding (BPE, bayt juftliklarini kodlash) kabi turli tokenlash algoritmlaridan foydalaniladi.
Diqqat mexanizmlari

Katta til modellarida qo‘llanadigan diqqat mexanizmlari (ingl. attention mechanism) tizim arxitekturasi va unumdorligini yaxshilashga yordam beradi, chunki ular tokenlar o‘rtasidagi bog‘lanishlarni aniqlab, kirish ketma-ketliklarini ifodalash imkonini beradi. Word2Vec va GloVe (Global Vectors for Word Representation) kabi so‘zlarning an’anaviy vektorli ifodalash usullari katta matn korpuslarida so‘zlarning birgalikda uchrash statistikasi asosida o‘zgarmas o‘lchamli vektorlar yaratadi. Bunday yondashuvlar so‘z ma’nosining kontekstga bog‘liq farqlarini hisobga olmaydi. Diqqat mexanizmi esa modelga kirish ketma-ketligining tegishli qismlariga tanlab e’tibor qaratish va kontekstual axborotni hisobga olish imkonini beradi. Bu mexanizm KTMga har bir so‘zning kontekstga aloqadorligiga qarab uning ahamiyatini dinamik tarzda o‘zgartirish imkonini beradi. Shu tariqa model bir-biridan uzoqda joylashgan so‘zlar orasidagi bog‘liqliklarni ham aniqlaydi. Bunday yondashuv kontekstga mos ifodalarni shakllantirish hamda murakkab matnlarni qayta ishlashda tilning ko‘p ma’noliligini bartaraf etishga xizmat qiladi.

O‘ziga e’tibor (self-attention) mexanizmi modelga kirish ketma-ketligining turli pozitsiyalarini hisobga olib, uning ifodasini hisoblash imkonini beradi. Bunda uch asosiy element ishlatiladi: so‘rov (query) — modelning muayyan so‘zga joriy e’tiborini ifodalovchi vektor; kalit (key) — so‘zning aloqadorligini baholash uchun mezon bo‘ladigan vektor; qiymat (value) — har bir so‘zga tegishli haqiqiy axborotni saqlovchi vektor.
Ko‘p boshli diqqat (ingl. multi-head attention)) — self-attention mexanizmining kengaytmasi bo‘lib, modelga bir nechta self-attention amallarini parallel bajarish orqali turli kontekstual axborotni qamrab olish imkonini beradi. Har bir amalda so‘rovlar (ingl. query), kalitlar (ingl. key) va qiymatlar (ingl. value) uchun alohida o‘rganilgan o‘zgartirishlar mavjud. Ushbu mexanizm kontekstni yanada aniq tushunish, modelning barqarorligi va ifoda imkoniyatlarini oshiradi. U 2017-yilda taqdim etilgan. Diqqat boshlarining soni modelga qarab farqlanadi: GPT-2 modelida 16 ta, GPT-3’ning eng katta versiyasida 96 ta, mavjud ma’lumotlarga ko‘ra GPT-4’da esa taxminan 120 ta diqqat boshi bor.
Ko‘p so‘rovli diqqat (ingl. Multi Query Attention)) — 2019-yildagi «Fast Transformer Decoding: One Write-Head is All You Need» ishida taqdim etilgan, transformer arxitekturasida ketma-ketliklarni qayta ishlash mexanizmi. U turli diqqat boshlaridagi barcha so‘rovlar uchun bir xil kalit–qiymat juftliklaridan foydalanish orqali standart ko‘p boshli diqqatni (MHA) takomillashtiradi. Natijada xotiraning o‘tkazish qobiliyatiga talab sezilarli kamayib, dekodlash tezlashadi. Falcon, PaLM va Llama 2 (7B, 13B) modellarida qo‘llanadi.

Guruhlangan so‘rovli diqqat (Grouped Query Attention, GQA) — 2023-yildagi «GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints» ishida ko‘p boshli diqqat (MHA) va ko‘p so‘rovli diqqat (MQA) orasidagi oraliq yechim sifatida taqdim etilgan mexanizm. GQA bir nechta so‘rovni guruhlaydi va har bir guruh uchun umumiy kalit–qiymat juftliklaridan foydalanadi. Bu MHA kabi murakkab qonuniyatlarni aniqlash qobiliyatini saqlab, MQA kabi xotira o‘tkazish qobiliyatiga talabni pasaytiradi. Mexanizm modellashtirish sifati va qayta ishlash tezligi o‘rtasida maqbul muvozanatni ta’minlaydi. Ayniqsa transformer dekoderi qatlamlarida samarali, chunki avtoregressiv dekodlashning ketma-ket tabiati xotira cheklovlarini keltirib chiqaradi. Hisoblashlar parallel bajariladigan enkoderlarda esa GQA odatda qo‘llanmaydi. U Meta Llama 2 (34B, 70B), Llama 3 (8B, 70B), Mistral 7B va IBM Granite 3.0 arxitekturalarida ishlatiladi.
Ekspertlar aralashmasi (Mixture of Experts)
Katta til modellaridagi ekspertlar aralashmasi (Mixture of Experts, MoE) arxitekturasi modelni bir nechta ixtisoslashgan qismlarga — «ekspertlar»ga ajratadi. Har bir ekspert ma’lum bilim sohasi yoki vazifa turiga mas’ul bo‘ladi. Odatda to‘g‘ridan-to‘g‘ri tarqaluvchi neyron tarmoqlar ko‘rinishida amalga oshirilgan bu ekspertlar maxsus yo‘naltiruvchi (gating) neyron tarmoq boshqaruvida kirish ma’lumotlarini birgalikda qayta ishlaydi. Marshrutizator qaysi tokenlar qaysi ekspertlarga uzatilishini belgilaydi va hisoblash yukini ular o‘rtasida taqsimlaydi. Ekspertlardan bir tekis foydalanish va yuklamani samarali taqsimlash uchun maxsus muvozanatlash mexanizmlari ishlatiladi. 1991-yilda Jeffri Xinton birinchi marta taklif qilgan yondashuv 2014-yildan boshlab chuqur neyron tarmoqlarda rivojlandi; 2022-yilda Google va Meta uni o‘z transformerlarida qo‘llashni namoyish etdi.
Siyrak ekspertlar aralashmasi (Sparse Mixture of Experts, Sparse MoE) — MoE arxitekturasining keyingi rivojlangan shakli bo‘lib, unda muayyan so‘rovga javob berish uchun mavjud ekspertlarning hammasi emas, faqat kichik qismi ishlatiladi. Maxsus marshrutlash modeli kirish ma’lumotlari xususiyatiga qarab javobi ayni so‘rov uchun foydali bo‘ladigan ekspertlarnigina oldindan tanlaydi. Natijada har bir hisoblashda qatnashadigan parametrlar soni keskin kamayadi va sifatni pasaytirmasdan javob yaratish sezilarli tezlashadi.
Shuni ta’kidlash kerakki, MoE’dagi ekspertlar mustaqil katta til modellari emas va KTMlarning ko‘p agentli tizimlaridagi kabi o‘zaro suhbatlashmaydi. Mixture of Experts — yagona neyron tarmoq ichidagi «kompetensiyalar»ni moslashuvchan taqsimlash vositasidir. Unda marshrutizator qo‘yilgan vazifani yechishda har bir ekspertning ishtirok darajasini dinamik belgilaydi.
Sparse MoE (SMoE) modellari o‘xshash o‘lchamdagi an’anaviy modellarga qaraganda javob yaratishni ancha tezlashtiradi, lekin videoxotira sarfi deyarli bir xil bo‘lib qoladi. MoE modelida inferensiya vaqtida amalda faqat faol parametrlar hisoblashda ishtirok etadi. Shu sababli siyrak parametrli butun modelni xotiraga yuklash zarur bo‘lsa ham, jarayon tezlashadi. Masalan, Mixtral 8x7B’dagi 8 ekspertning har biri 5,6 milliard parametrga ega (jami 46,7 milliard), lekin javob yaratishda atigi 2 ekspert (12,8 milliard parametr) ishlatiladi. Bu yuklanadigan va faol parametrlar soni o‘rtasidagi farqni ko‘rsatadi. DeepSeek V3 va DeepSeek R1 kabi zamonaviy samarali modellar ham Sparse MoE’ga asoslanadi. Ularda taxminan 671 milliard parametr mavjud, biroq bir vaqtda atigi 37 milliardga yaqini ishlatiladi. Bu sifatni yo‘qotmasdan hisoblash xarajatini 18 baravar kamaytiradi.
Mulohaza yurituvchi KTMlar
Mulohaza yurituvchi KTMlar (reasoning LLM) — murakkab mantiqiy tahlil va bosqichma-bosqich fikrlashni talab qiladigan vazifalarga moslashtirilgan katta til modellari turidir. Odatdagi KTMlar statistik til qonuniyatlari asosida darhol javob hosil qilsa, mulohaza yurituvchi KTMlar inson tafakkuriga o‘xshash izchil mantiqiy xulosa chiqarish jarayonini modellashtiradi. Arxitektura jihatidan ular standart transformer modeliga asoslanadi. Asosiy farq bazaviy arxitektura o‘zgartirilishida emas, balki aniq mulohaza yuritish uchun optimallashtirilgan o‘qitish va inferensiya usullaridadir.
Mulohaza yurituvchi KTMlarning asosiy ichki mexanizmi — fikrlar zanjirini (chain-of-thought, CoT) yaratish va undan foydalanishdir. OpenAI o1 modeli ustida olib borilgan tadqiqotga ko‘ra, bu jarayon taxminan 6 bosqichdan iborat: vazifani tahlil qilish, uni kichik vazifalarga ajratish, tizimli yechim ishlab chiqish, muqobil yondashuvlarni ko‘rib chiqish, o‘zini tekshirish va xatolarni o‘zi tuzatish. Mexanizm maxsus o‘qitish hamda javob hosil qilish jarayonini sozlash orqali ishlaydi: model «yechim + javob» juftligini yaratadi, mulohazalar zanjiri esa asosiy javobdan <think>…</think> xizmat tokenlari bilan ajratiladi.
Diffuzion KTMlar
2025-yil boshida katta til modellariga diffuziya yondashuvini tatbiq etuvchi LLaDA (Large Language Diffusion) modeli taqdim etildi. Model 2,3 trillion tokenda dastlabki o‘qitishdan va 4,5 million namunada nazoratli nozik sozlash (supervised fine-tuning) bosqichidan o‘tdi. LLaDA’ning 8 milliard parametrli bazaviy versiyasi ko‘plab vazifalarda LLaMA 2’dan ustun, shuningdek, o‘xshash hajmdagi LLaMA 3 bilan taqqoslanadigan yoki undan yaxshi natijalar ko‘rsatdi. She’rlarni teskari tartibda davom ettirish vazifasida LLaDA GPT-4o va Qwen 2.5 modellaridan ustun keldi.
O‘qitish
Ilk KTMlar bir necha milliard so‘zdan iborat matn korpuslarida o‘qitilgan. GPTning dastlabki versiyasi 2018-yilda 985 million so‘zli BookCorpus asosida o‘qitildi. O‘sha yili BERT BookCorpus va inglizcha Vikipediya birikmasida, jami 3,3 milliard so‘zga teng ma’lumotlarda o‘qitildi. Shundan buyon KTMlar uchun o‘quv korpuslari hajmi bir necha darajaga oshib, yuzlab milliard yoki trillionlab tokenga yetdi.
KTMni oldindan o‘qitish juda katta hisoblash resurslarini talab qiladi. 2020-yildagi tadqiqot 1,5 milliard parametrli modelni (o‘sha davrning ilg‘or modellaridan bir-ikki tartib kichik) o‘qitish xarajatini 1,6 million AQSh dollariga baholagan.
2020-yildagi tahlil neyron til modellari imkoniyatlari (ular o‘qitishdagi yo‘qotish funksiyasi orqali o‘lchangan) parametrlar, o‘quv ma’lumotlari va o‘qitish hisoblashlari hajmi ortishi bilan darajali qonun asosida izchil oshishini ko‘rsatdi. Ushbu bog‘lanishlar qiymatlarning keng oralig‘ida (yetti tartibgacha) tekshirilgan va yuqori chegarada, jumladan, trillionlab parametrli tarmoq o‘lchamlarida ham o‘sish munosabatining susayishi kuzatilmagan.
2018–2020-yillarda muayyan NLP vazifasi uchun KTMlardan foydalanishning odatiy usuli modelni ushbu vazifaga qo‘shimcha o‘qitish orqali nozik sozlash edi. Keyinchalik GPT-3 kabi yanada qudratli KTMlar qo‘shimcha o‘qitishsiz ham matnli ko‘rsatmalar orqali vazifalarni bajara olishi aniqlandi. Bunda hal qilinadigan vazifa modelga matnli so‘rov shaklida, zarur bo‘lsa, o‘xshash vazifalar va ularning yechimlariga doir bir nechta misol bilan taqdim etiladi.
Dastlabki o‘qitish
Dastlabki o‘qitish ( (pre-training) — til va uning tuzilishi haqida umumiy tushuncha hosil qilish uchun KTMni katta hajmdagi matn ma’lumotlarida dastlab o‘qitish jarayonidir. Ushbu bosqichda model bazaviy bilimlarni va matndagi qonuniyatlarni aniqlash ko‘nikmalarini egallaydi. Oldindan o‘qitilgan modellar ilgari o‘zlashtirilgan til ifodalariga tayanib, maxsus vazifalarni samaraliroq o‘rganadi. Ochiq modellarni ishlab chiquvchilar ularni Hugging Face platformasida nomiga «base» qo‘shib, masalan, Mistral-Small-3.1-24B-Base-2503 ko‘rinishida joylashtiradi. Bunday modellar ko‘pincha keyingi o‘qitish va aniq ehtiyojlarga moslab sozlashda foydalaniladi.
Dastlabki o‘qitishni davom ettirish
Dastlabki o‘qitishni davom ettirish (continued pretraining) — ilgari o‘qitilgan til modelini ayni o‘qitish usuli (belgilanmagan matnlarda bevosita til modellashtirishni o‘rgatish) orqali ixtisoslashgan yoki maqsadli ma’lumotlarda qo‘shimcha o‘qitish yondashuvidir. U nozik sozlashdan (fine-tuning) farq qiladi: dastlabki o‘qitishni davom ettirishda model o‘qitish vazifasini o‘zgartirmasdan yangi soha yoki ma’lumotlar korpusining tuzilishi va xususiyatlarini o‘rganadi. Bu umumiy maqsadli modellarni tibbiyot, huquq yoki moliya kabi o‘ziga xos terminologiya va matn tuzilishini tushunish talab etiladigan sohalarga ixtisoslashtirish uchun qo‘llanadi. Usul modelning yangi sohalardagi kontekst va semantik aloqalarni aniqlash qobiliyatini yaxshilaydi, uni aniq til yoki sheva xususiyatlariga moslashtiradi. Buning natijasida keyingi nozik sozlash ham samaraliroq bo‘ladi, chunki model yangi ma’lumotlarga allaqachon moslashgan bo‘ladi. Shu tariqa uni tasniflash, savollarga javob berish va matn yaratish kabi vazifalarga sozlash osonlashadi.
Nozik sozlash
Nozik sozlash (fine-tuning, qo‘shimcha o‘qitish) — oldindan o‘qitilgan til modelini ma’lum vazifa (masalan, hissiy ohangni tahlil qilish, nomlangan obyektlarni aniqlash yoki so‘z turkumlarini belgilash) uchun nazoratli o‘qitish orqali o‘zgartirish amaliyotidir. Bu transferli o‘qitish shaklidir. Odatda til modelining oxirgi qatlamini keyingi vazifaning chiqish natijalariga bog‘lovchi yangi vaznlar to‘plami kiritiladi. Modelning dastlabki vaznlari «muzlatib» qo‘yilishi mumkin; bunda o‘qitishda faqat chiqish qatlamiga ulanadigan yangi vaznlar o‘rganiladi. Yoki dastlabki vaznlarga kichik yangilanishlar kiritilishi mumkin (oldingi qatlamlar muzlatilgan holda qolishi ham mumkin).
KTMlarda parametrlarni qamrab olishiga qarab fine-tuningning bir necha turi farqlanadi: modelning barcha parametrlarini to‘liq qo‘shimcha o‘qitish (full fine-tuning), parametrlar bo‘yicha tejamkor nozik sozlash (Parameter-Efficient Fine-Tuning, PEFT), ya’ni faqat maxsus qatlamlar yoki model boshlarini o‘qitish (adapter fine-tuning), minimal resurs bilan parametrlarning past rangli o‘zgarishlaridan foydalanuvchi LoRA (past rangli moslashtirish), shuningdek, prompt tuning.
Maqsadiga ko‘ra nozik sozlash turlari:
- Nazoratli nozik sozlash (Supervised Fine-Tuning, SFT): Model «kirish–chiqish» juftliklaridan iborat belgilangan ma’lumotlarda qo‘shimcha o‘qitiladi. Bu matn yaratish, savollarga javob berish, qisqacha bayon qilish va tarjima kabi turli vazifalar uchun sodda va samarali usuldir. Ko‘rsatmalarga moslab o‘qitish (Instruction Tuning) — SFTning bir turi bo‘lib, unda model ko‘plab vazifalarni yagona tamoyillarga asoslanib bajarish uchun tabiiy tilda ifodalangan ko‘rsatmalarga amal qilishga o‘rgatiladi.
- Afzalliklarni bevosita optimallashtirish (Direct Preference Optimization, DPO): Bu usul RLHF maqsadlariga asoslangan yo‘qotish funksiyasidan foydalanib, modelni afzalliklar to‘g‘risidagi ma’lumotlarda bevosita optimallashtiradi. Natijada o‘qitish jarayoni soddalashib, tizim barqarorligi oshadi.
- Inson fikr-mulohazalari asosida mustahkamlovchi o‘qitish (Reinforcement Learning from Human Feedback, RLHF): Nazoratli o‘qitish va mustahkamlovchi o‘qitishni birlashtiruvchi usul. Unda foydalanuvchi afzalliklariga yuqori darajada moslashish uchun insonlar fikr-mulohazalaridan shakllangan mukofotlar asosida PPO kabi algoritmlar yordamida model optimallashtiriladi.
- Imkoniyatlar nisbatiga asoslangan afzalliklarni optimallashtirish (Odds Ratio Preference Optimization, ORPO): Ushbu yondashuv imkoniyatlar nisbatini tahlil qilish orqali takroriy takomillashtirishdan foydalanadi va afzalliklar haqidagi ma’lumotlar asosida modelni bosqichma-bosqich yaxshilab, uzoq muddatli moslashuvni ta’minlaydi.
- Uch tomonlama afzalliklarni optimallashtirish (Triple Preference Optimization, TPO): Bu usul afzalliklar ma’lumotlari asosida o‘qitishni bir bosqichli optimallashtirishga samarali birlashtiradi va kamroq ma’lumot hamda hisoblash resursi bilan yuqori sifatli moslashuvga erishadi.
- Parallel moslashtiruvchi nozik sozlash (Parallel Alignment Fine-Tuning, PAFT): Ushbu yondashuvda nazoratli nozik sozlash va afzalliklar ma’lumotlari asosida moslashtirish parallel bajarilib, keyin parametrlar birlashtiriladi. Bu moslashtirish xarajatlarini kamaytiradi va modelning umumiy unumdorligini yaxshilaydi.
Kontekst ichida o‘rganish (In-context learning)
Kontekst ichida o‘rganish (In-context learning) — katta til modellarining (LLM) o‘zaro muloqot davomida berilgan matnli ko‘rsatmalar orqali qo‘shimcha o‘qitishsiz yangi vazifalarni bajarish qobiliyatidir. Maxsus ma’lumotlar to‘plamida an’anaviy qo‘shimcha o‘qitish o‘rniga model joriy kontekstdagi misollar va ko‘rsatmalarni tahlil qilish orqali yangi vazifaga moslashadi.
Kirish misollari tabiiy tilni qayta ishlash modellarini matnli so‘rov yordamida qo‘yilgan vazifaga tez moslashtiruvchi usuldir. U ikki yondashuvni o‘z ichiga oladi: zero-shot — ochiq misollarsiz, faqat matnli ko‘rsatma asosida vazifani bajarish; one-shot yoki few-shot — so‘rovga o‘xshash vazifalarning bir yoki bir necha yechim namunasini qo‘shish.
Ko‘rsatma
matnli ko‘rsatmalar paradigmasida (prompting) — uni GPT-3 ommalashtirgan — yechilishi kerak bo‘lgan muammo matnli so‘rov ko‘rinishida ifodalanadi va model uni matnni davom ettirish orqali (statistik xulosa chiqarish yordamida) hal qilishi kerak. Bir nechta misol asosida o‘rganishda (few-shot learning) so‘rovga o‘xshash «vazifa–yechim» juftliklaridan bir nechta namuna qo‘shiladi. Masalan, film haqidagi taqrizning hissiy ohangini aniqlash vazifasi quyidagicha berilishi mumkin:
Review: This movie stinks. Sentiment: negative Review: This movie is fantastic! Sentiment:
Agar model «ijobiy» deb javob bersa, demak, u vazifani to‘g‘ri bajargan bo‘ladi. «Nol misolli» (zero-shot) so‘rovlarda yechim namunalari berilmaydi. Savolga javob berish vazifasidagi bunday so‘rov namunasi: «‘Turlarning kelib chiqishi“?».
KTMlarning kam sonli misol bilan ishlash imkoniyati tabiiy tilni qayta ishlash vazifalarida raqobatbardosh natijalar berishi, ba’zan esa ilgari eng ilg‘or hisoblangan nozik sozlash yondashuvlaridan ham ustun kelishi ko‘rsatilgan. Bunday NLP vazifalari qatoriga tarjima, savollarga javob berish, cheklovli vazifalar, so‘zlarni ochib berish va yangi so‘zni gapda ishlatish kiradi. Bunday ko‘rsatmalarni yaratish va optimallashtirish so‘rov muhandisligi deb ataladi va hozirda faol tadqiqot yo‘nalishidir.
Inferensiya (natija chiqarish)
Katta til modellari inferensiyasi (ingl. Large Language Model Inference) — allaqachon o‘qitilgan KTMlarni yangi ma’lumotlarga qo‘llash bosqichidir. Unda model matnli javoblar yaratadi, matnlarni tarjima qiladi, dasturlash masalalarini hal etadi va tabiiy tilni qayta ishlashning boshqa vazifalarini bajaradi. Aynan shu bosqichda modelning nazariy imkoniyatlari chatbotlar, ovozli yordamchilar, avtomatik tarjimonlar va tahliliy platformalar kabi amaliy dasturlarda namoyon bo‘ladi.
Inferensiya — o‘qitilgan model foydalanuvchining kirish ma’lumotlarini (so‘rov, prompt) ketma-ket qayta ishlab, o‘qitishda egallangan andoza va qonuniyatlarga tayangan holda eng ehtimolli matnli natijani bo‘laklab («tokendan token») hosil qiladigan amaldir. Katta resurs talab qiluvchi o‘qitishdan farqli ravishda inferensiya ko‘p marta, ko‘pincha real vaqt rejimida bajariladi.
Inferensiya parametrlari
KTM bilan matn yaratishda so‘rovdagi ko‘rsatmalardan tashqari, yakuniy natijaga sezilarli ta’sir qiluvchi turli texnik parametrlarni ham belgilash mumkin.
- Harorat (temperature) yaratilyotgan javoblarning qat’iyligi yoki tasodifiyligiga ta’sir qiladi. Past qiymatlarda algoritm eng ehtimolli tokenlarni tanlaydi; bu aniq va lo‘nda faktik javoblar uchun mos. Harorat oshirilsa, tanlash tasodifiyroq bo‘ladi va turli-tuman, ijodiy g‘oyalar, masalan, she’r yaratish imkoniyati ortadi.
- Top-p tanlash (Top-p sampling) (nucleus sampling) — til modellarida matn yaratish usuli bo‘lib, unda keyingi so‘zni tanlashda umumiy ehtimolligi belgilangan p chegarasidan oshadigan eng ehtimolli tokenlargina hisobga olinadi. Top-p qo‘llanganda yaratilgan matn beam search yoki maksimal ehtimollik kabi klassik usullarga qaraganda kamroq takrorlanadi va tabiiyroq bo‘ladi.
- Top K — model matn yaratishda hisobga oladigan eng ehtimolli tokenlar sonini belgilovchi parametr. Top K qiymati qanchalik past bo‘lsa, model javobi shunchalik oldindan aytish mumkin bo‘lgan va takroriy bo‘ladi.
- Max Tokens (tokenlarning maksimal soni) — so‘rovga (prompt) javoban model yaratishi mumkin bo‘lgan tokenlarning eng ko‘p sonini belgilaydi.
- Repetition Penalty (takrorlash jarimasi) va Frequency Penalty (chastota jarimasi) — til modellari yaratgan matnlarda takrorlarni kamaytirishning o‘xshash, ammo farqli ikki usulidir. Repetition Penalty dastlabki matnda yoki yaqinda hosil qilingan matnda mavjud tokenlarning ehtimolligiga bevosita ta’sir qiladi va ularning takror ishlatilish ehtimolini dastlabki ehtimolligiga mutanosib ravishda pasaytiradi. Frequency Penalty esa ilgari yaratilgan matnda tokenning necha marta ishlatilganini hisobga olib, u qancha ko‘p uchragan bo‘lsa, qayta tanlanish ehtimolini shuncha kamaytiradi. Demak, Repetition Penalty yaqinda ishlatilgan tokenlarning bevosita takrorlanishini cheklaydi, Frequency Penalty esa so‘z yoki iboralarning matn bo‘ylab umumiy takrorlanish chastotasini kamaytiradi.
- Presence Penalty (mavjudlik jarimasi) — hosil qilinayotgan matnda so‘z yoki tokenlarning takrorlanishini kamaytirish uchun ishlatiladigan parametr. U ilgari ishlatilgan so‘z, hatto bir marta uchragan bo‘lsa ham, uni qayta tanlash ehtimolini pasaytiradi. Amalda model ichki baholarni (logitlarni) o‘zgartirib, ilgari ishlatilgan so‘zlar bahosini tushiradi. Bu boshqa variantlarni tanlashga undaydi va matn xilma-xilligini oshiradi. Presence Penalty −2,0 dan 2,0 gacha (standart qiymat 0) belgilanishi mumkin, ammo matn xilma-xilligi va sifatining muvozanati uchun odatda −1 dan 1 gacha qiymatlar tavsiya etiladi. Bu parametr takrorlardan qochish zarur bo‘lgan vazifalarda, masalan, mijozlarni qo‘llab-quvvatlovchi, turlicha va mazmunli javoblar yaratishi kerak bo‘lgan chatbotlarda ayniqsa foydali. Presence Penalty (mavjudlik jarimasi), Frequency Penalty (chastota jarimasi) va Repetition Penalty (takrorlash jarimasi) — til modellari matnidagi takrorlarni boshqarishning bir-biriga o‘xshash, ammo farqli uch usuli. Presence Penalty so‘z birinchi marta uchraganidan keyin uni qayta ishlatish ehtimolini, ilgari necha marta qo‘llanganidan qat’i nazar, kamaytiradi. Frequency Penalty asta-sekin ta’sir qiladi: so‘z qancha tez-tez uchrasa, unga beriladigan jarima shuncha katta bo‘ladi. Repetition Penalty esa ayrim modellarda (masalan, OpenAI GPT-2 va GPT-3 matn yaratish algoritmlarida yoki boshqa dasturiy yechimlarda) foydalaniladigan koeffitsiyent bo‘lib, u ishlatilgan so‘zlarning qayta tanlanish ehtimolini bevosita kamaytiradi. Shunday qilib, Presence Penalty takrorni birinchi paydo bo‘lishidayoq qat’iy jazolaydi, Frequency Penalty chastotaga qarab bosqichma-bosqich ta’sir qiladi, Repetition Penalty esa ishlatilgan tokenlarni takror tanlash ehtimolini bevosita kamaytiruvchi koeffitsiyentdir.
LLM Streaming
Oqimli uzatish (LLM Streaming) — KTM yaratgan ma’lumotni to‘liq javob tugagandan keyin emas, balki yaratilishi bilan mijoz dasturga yetkazish usulidir. Odatda model avval javobni to‘liq yaratib, keyin foydalanuvchiga yuboradi. Oqimli uzatishda esa matn asta-sekin ko‘rsatiladi va foydalanuvchi tajribasi yaxshilanadi. LLM Streaming zarurati katta til modellarining murakkab javoblarni yaratishi ancha vaqt (bir daqiqa yoki undan ko‘p) olishi mumkinligi bilan bog‘liq. Natijani kutayotgan foydalanuvchi sabrsizlanib, ilovani tark etishi mumkin. Oqimli uzatish javobni shakllanishi davomida bosqichma-bosqich ko‘rsatib, uzoq kutishning oldini oladi. Masalan, ChatGPT matnni so‘zma-so‘z ko‘rsatishda shu usuldan foydalanadi.
Texnik jihatdan LLM Streaming quyidagicha ishlaydi: model matnni tokenma-token ketma-ket hosil qiladi (token — matnning eng kichik birligi). Tizim yangi tokenlar paydo bo‘lishini kutib, ularni kichik qismlarga jamlaydi va mijoz dasturga yuboradi. KTMlardagi oqimli uzatish odatdagi strimingdan (masalan, musiqa yoki videoni oqimli ijro etishdan) farq qiladi: bu yerda asosiy sabab ma’lumot hajmi emas, balki uning asta-sekin yaratilishidir. KTM bilan ishlaydigan aksariyat inferensiya dvijoklari va API kutubxonalarida ilova ehtiyojiga qarab yoqib-o‘chiriladigan oqimli uzatish rejimi mavjud.
Inferensiya dvijoklari
Inferensiya dvijogi (ingl. inference engine) — oldindan o‘qitilgan KTMdan foydalanish jarayonini optimallashtiruvchi dasturiy ta’minot. Til qonuniyatlarini o‘rganish va parametrli ifodalashga qaratilgan o‘qitish bosqichidan farqli ravishda inferensiya foydalanuvchi so‘rovlarini tez va samarali qayta ishlab, natija chiqarishga e’tibor qaratadi. Bunday tizimlarga qo‘yiladigan asosiy talab — amallarni kechikishi past (latency) va o‘tkazish qobiliyati yuqori (throughput) holda bajarish. Bu real vaqtli muloqot ilovalari (chatbotlar, tarjima va qidiruv tizimlari) uchun ayniqsa muhim. Inferensiya dvijogining vazifasi hisoblash resurslaridan (protsessor yadrolari hamda GPU yoki TPU kabi grafik tezlatkichlardan) maksimal samarali foydalanish va so‘rov kelishi bilan natija chiqishi orasidagi kechikishni kamaytirishdan iborat. Buning uchun quyidagi texnologiya va optimallashtirishlar qo‘llanadi:
- Kvantlash (Quantization): model parametrlarini yuqori aniqlikdagi formatlardan (masalan, float16) pastroq aniqlikdagi formatlarga (int8, int4) o‘tkazish orqali uning hajmini kamaytirish.
- Apparatga xos optimallashtirish: uskuna imkoniyatlaridan (masalan, Tensor Core yadrolari va tensorli parallellikdan) optimallashtirilgan tarzda foydalanish.
- GPU xotirasini samarali boshqarish: Paged Attention va Flash Attention kabi usullar orqali xotira talabini kamaytirish va hisoblashlarni tezlashtirish.
- Paketli qayta ishlash texnologiyalari: ko‘plab so‘rovlarni bir vaqtda (batch) qayta ishlab, modelning o‘tkazish qobiliyatini oshirish.
- KV keshlash.
Dvijoklar namunalari
- vLLM: dinamik paketlashni qo‘llab-quvvatlaydigan va GPU resurslaridan samarali foydalanadigan maxsus Python inferensiya dvijogi. Asosiy optimallashtirishlari — dinamik batching, KV keshlash (PagedAttention). GPTQ, AWQ, INT4, INT8 va FP8 kvantlash formatlarini qo‘llaydi.
- TensorRT-LLM (Engine Building): NVIDIA TensorRT platformasining quyi darajadagi optimallashtirishlariga asoslangan inferensiya serveri. NVIDIA GPUlarida apparat tezlashtirishni va maksimal nazoratni ta’minlaydi. TensorRT modelni qo‘lda konvertatsiya qilish va kompilyatsiyalashni talab qiladi, ammo kam kechikish va yuqori unumdorlik beradi.
- TGI (Text Generation Inference): Hugging Face Hub bilan chambarchas integratsiyalashgan, unumdorlik, masshtablash imkoniyati va integratsiya qulayligi o‘rtasida muvozanatni ta’minlaydigan optimallashtirilgan inferensiya serveri.
- Ollama: llama.cpp kutubxonasiga asoslangan, modellarni qulay boshqarish va ishga tushirishga yo‘naltirilgan ochiq inferensiya dvijogi. Turli darajada kvantlangan tayyor modellar joylashtirilgan katta GUFF repozitoriysiga ega. KTM bilan ishlashni endi boshlagan foydalanuvchilar uchun qulay.
- Triton Inference TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python va RAPIDS FIL kabi freymvorklardan foydalanib AI/ML modellarini joriy etish imkonini beradi. U bulutda, ma’lumotlar markazlarida, chekka qurilmalar va o‘rnatilgan tizimlarda inferensiyani bajaradi. NVIDIA GPU, x86 va ARM protsessorlari hamda AWS Inferentia qo‘llab-quvvatlanadi. Asosiy imkoniyatlari — turli chuqur o‘qitish freymvorklarini qo‘llash, modellarni bir vaqtda ishlatish, dinamik rejalashtirish va ma’lumotlarni paketlab qayta ishlash.
Asosiy metrikalar va ko‘rsatkichlar
Inferensiya dvijoklari unumdorligini baholashda quyidagi metrikalar ishlatiladi:
- Kutish vaqti (Latency Metrics):
- TTFT (Time to First Token): javobdagi birinchi token yaratilguniga qadar kechikish.
- E2E Latency (End-to-End Latency): to‘liq javobni yaratish uchun sarflangan vaqt.
- ITL (Inter-Token Latency): oqimli matn yaratishda ketma-ket tokenlar orasidagi kechikish.
- O‘tkazish qobiliyati (Throughput Metrics):
- Server, GPU yoki model nusxasi hisobiga bir soniyada yaratiladigan tokenlar soni.
- Server tomonidan bir vaqtda qayta ishlanadigan so‘rovlar (promptlar) soni, soniyasiga.
Inferensiyani optimallashtirish
Inferensiyani optimallashtirish usullari — yaratiladigan kontent sifatini saqlagan holda katta til modellari ishining samaradorligini oshiruvchi usullar majmuasidir. Asosiy yondashuvlar: kvantlash (sonlarni ifodalash aniqligini pasaytirish), pruning (neyron tarmoqning ortiqcha qismlarini olib tashlash), bilim distillatsiyasi (katta model imkoniyatlarini kichik modelga o‘tkazish) va arxitekturani optimallashtirish (model tuzilishi hamda diqqat mexanizmlarini takomillashtirish).
Kvantlash (quantization) — yuqori aniqlikdagi sonlarni pastroq aniqlikdagi formatga o‘tkazish orqali KTM hajmi va hisoblash talablarini kamaytirish, inferensiyani tezlashtirish hamda xotirani tejash usuli. Kvantlash turlari: bir xil qadamli (diskretlash qadami doimiy), simmetrik (nol nuqtasini ifodalovchi) va asimmetrik (diapazon chegaralarini moslashtiruvchi). Kvantlash faqat vaznlarga yoki vaznlar bilan faollashuvlarga birgalikda qo‘llanadi. Zamonaviy usullar orasida chet qiymatlarni yuqori aniqlikda saqlaydigan LLM.int8(); qatlamlar bo‘yicha xatoni minimallashtiruvchi GPTQ; vazn ahamiyatini tahlil qiluvchi AWQ va OWQ; chet qiymatlar bilan ishlashda qo‘shma yondashuv qo‘llovchi SpQR bor. Bular ZeroQuant, ZeroQuantV2, murakkablikni qismlar o‘rtasida qayta taqsimlovchi SmoothQuant hamda alohida o‘rgatiladigan parametrlarga ega OmniQuant freymvorklari orqali amalga oshiriladi. Asosiy strategiyalar: kvantlash ta’sirini o‘qitish jarayoniga qo‘shuvchi kvantlashni hisobga olgan o‘qitish (QAT) va oldindan o‘qitilgan modelga katta qayta o‘qitishsiz qo‘llanadigan o‘qitishdan keyingi kvantlash (PTQ).
Neyron tarmoqlarni pruning qilish — modellar unumdorligini saqlagan holda ularning hajmini qisqartiruvchi usullar majmuasi. Tuzilmali pruning butun qismlarni (qator, ustun, kanal) olib tashlab, apparat tezlatkichlar bilan moslikni ta’minlaydi. Tuzilmasiz pruning esa alohida vaznlarni olib tashlaydi, yuqoriroq siqish darajasiga erishadi, biroq maxsus apparat qo‘llab-quvvatlashini talab qiladi. Tuzilmali pruning usullariga pruningni past rangli moslashtirish (Low-Rank Adaptation) bilan birlashtiruvchi LoRaPrune va uch bosqichli jarayonni (tuzilmalarni aniqlash, muhimlikni baholash, unumdorlikni tiklash) amalga oshiruvchi LLM-Pruner kiradi. Tuzilmasiz pruningga uni siyrak regressiya masalasi sifatida ko‘ruvchi SparseGPT, bosqichma-bosqich qo‘shimcha o‘qitiladigan Prune and Tune hamda qayta o‘qitishsiz zero-shot pruning bajaradigan Wanda misol bo‘ladi. Zamonaviy usullar neyronlarning sezgirligi va o‘ziga xosligiga asoslangan pruningni, shuningdek, zero-shot (qo‘shimcha o‘qitishsiz) va retraining-based (pruningdan keyin qo‘shimcha o‘qitish bilan) yondashuvlarni qamrab oladi. Bu KTMlar uchun ayniqsa dolzarbdir.
Bilimlarni distillatsiyalash — katta «o‘qituvchi» modeldan kichik «o‘quvchi» modelga axborot va imkoniyatlarni o‘tkazish usuli. Bu metodologiyada ikki yondashuv ajratiladi: o‘qituvchi modelning ichki parametrlaridan foydalanish mumkin bo‘lgan ochiq arxitektura va faqat chiqish ma’lumotlariga asoslanadigan yopiq arxitektura. Birinchi turga teskari KL divergensiyasini optimallashtiruvchi MiniLLM, o‘quvchi modeldan tanlanma oladigan On-Policy distillatsiya va katta model qatlamlaridan nusxa oladigan qisqartirish asosidagi boshlang‘ich sozlash kiradi. Ikkinchi turga kontekst ichida o‘rganishga asoslangan distillatsiya (Meta-ICT, Multitask-ICT), mulohaza yuritish ko‘nikmasini o‘tkazuvchi fikrlar zanjiri asosidagi distillatsiya (SCOTT, PaD, Distilling Step-by-Step) va turli vazifalarda matnli ko‘rsatmalarga amal qilishni rivojlantiruvchi ko‘rsatma asosidagi distillatsiya (Lion, LaMini-LM) kiradi.
Arxitekturani optimallashtirish — transformerga asoslangan KTMlarning hisoblash resurslari va xotira sarfini kamaytirib, yaratilgan matn sifatini saqlashga qaratilgan usullar majmuasi. Transformer muvaffaqiyatining muhim elementi bo‘lgan diqqat mexanizmi avvalgi barcha tokenlarning kalit va qiymat keshlarini saqlashi sababli katta xotira talab qiladi. Asosiy strategiyalar: keshni xotiraning ketma-ket joylashmagan bloklariga ajratuvchi Paged Attention; hisoblash murakkabligini kamaytiruvchi siljuvchi oynalarga asoslangan Windowed Attention; model izdan chiqishining oldini olish uchun dastlabki tokenlarni saqlovchi Attention Sinks; amallarni qayta guruhlab qurilmalar o‘rtasida ma’lumot uzatishni kamaytiruvchi Flash Attention; va yordamchi model bilan parallel generatsiya orqali dekodlashni tezlashtiruvchi Speculative Decoding. So‘nggi yondashuv natija sifatini pasaytirmay, unumdorlikni 2–3 baravar oshirishi mumkin.
Muammolar va cheklovlar
KTMlar rivojida katta yutuqlarga erishilganiga qaramay, mavjud arxitekturalarga xos qator muammo va cheklovlar qayd etiladi.
- Yuqori hisoblash xarajatlari. Tokenlarni ketma-ket yaratish parallel hisoblashlardan foydalanishni cheklaydi. Shu sababli generatsiya avtoregressiv bo‘lmagan usullarga nisbatan sekinroq kechadi. Yirik modellarni (masalan, GPT-4) o‘qitish ulkan resurslarni (energiya, vaqt, mablag‘) talab qiladi, bu esa ekologik va iqtisodiy xarajatlarni oshiradi.
- Kontekst uzunligining cheklanishi. Kirish/chiqish kontekstining maksimal uzunligi cheklangan. Uzun matnlar kesilishi, uzoq masofadagi bog‘lanishlarga e’tibor esa susayishi mumkin. Bu cheklov model arxitekturasining (odatda transformer asosidagi) texnik xususiyatlari bilan bog‘liq bo‘lib, unda hisoblash va xotira xarajatlari qayta ishlanadigan kontekst uzunligining kvadratiga mutanosib o‘sadi.
- Gallyutsinatsiyalar — KTM ishonarli eshitiladigan, ammo noto‘g‘ri yoki dalilsiz ma’lumot yaratadigan hodisa. Bunday xatolar neyron tarmoqning ma’lumotni haqiqiy ma’noda tushunmasligi bilan bog‘liq bo‘lib, o‘quv materiallari cheklovlari, model arxitekturasi xususiyatlari va berilgan axborotning faktik to‘g‘riligini tekshira olmasligiga ham bog‘liq.
- Xatolarning to‘planishi ( (ingl. Error Propagation) — katta til modeli matn yaratishning dastlabki bosqichida yo‘l qo‘ygan xatolar keyingi bosqichlarda noaniqlik va buzilishlarning ortishiga olib keladigan jarayon. Natijada boshlang‘ich kichik xatolar tayyor kontent sifati va kontekstual izchilligiga sezilarli ta’sir qilishi mumkin.
- Kompozitsion fikrlashdagi cheklovlar. Transformer arxitekturasidagi KTMlar (ChatGPT va GPT-4) ko‘p bosqichli bo‘laklash va kichik vazifalar yechimini birlashtirishni talab qiladigan masalalarda cheklangan samaradorlik ko‘rsatadi. Jumladan, ko‘p xonali sonlarni ko‘paytirish va mantiqiy boshqotirmalarni yechishda model aniqligi atigi 55–59 % ni tashkil qiladi. Nazariy tadqiqotlarga ko‘ra, avtoregressiv kontent yaratish xususiyatlari sababli vazifa murakkablashgan sari xatolar chastotasi eksponensial ortadi.
- Matndagi takrorlar muammosi — KTM yaratgan matnda so‘z, ibora yoki gaplar qayta-qayta takrorlanishi bo‘lib, u sifat va axborot qiymatini pasaytiradi hamda matnni qabul qilishni qiyinlashtiradi. Bu muammo asosan model arxitekturasi va uni o‘qitish xususiyatlari, dekodlash usullarining nomukammalligi va generatsiya vaqtida kontekst yetarli nazorat qilinmasligi bilan bog‘liq.
- Teskari xulosa chiqarish muammosi ( (ingl. Reversal Curse) — avtoregressiv katta til modellarida kuzatiladigan hodisa bo‘lib, model ma’lumotni teskari yo‘nalishda umumlashtira olmasligi bilan tavsiflanadi. Masalan, model «A — B» ko‘rinishidagi tasdiqlarda o‘qitilgan bo‘lsa, u bilimni avtomatik ravishda «B — A» shaklida umumlashtira olmaydi.
- KTMlarni boshqarishning qiyinligi — javoblarning mazmuni va shaklini aniq nazorat qilishda, masalan, belgilangan uslubga rioya qilish yoki nomaqbul mavzulardan qochishda qiyinchilik tug‘ilishidir. Boshqaruvchanlik darajasi qo‘llanadigan ko‘rsatmalar («promptlar») sifati va modelni muayyan vazifalarga qo‘shimcha nozik sozlash samaradorligiga kuchli bog‘liq.
- Ifodalanish usuliga sezgirlik muammosi — KTMning dastlabki so‘rov matnidagi kichik o‘zgarishlarga ham ancha farqli javob qaytarishga moyilligidir. Bunga neyron tarmoqning ichki tuzilishi sabab: u ifodadagi ozgina o‘zgarishni sifat jihatdan yangi signal deb qabul qilishi va so‘rovning ma’nosi saqlanganda ham boshqa natija berishi mumkin.
- Ijodkorlik va aniqlik o‘rtasidagi muvozanat muammosi — KTMning o‘ziga xos, xilma-xil javoblar yaratish qobiliyati bilan axborotning yuqori faktik va mantiqiy ishonchliligini saqlash o‘rtasida muvozanat zarurligidir. Ijodkorlikni oshirish ko‘pincha xato va gallyutsinatsiyalar sonini ko‘paytiradi; qat’iy nazorat bilan aniqlikni oshirish esa javoblarning xilma-xilligi va ifodaliligini kamaytiradi.
- Noto‘g‘ri foydalanish xavflari — dezinformatsiya, spam, fishing kabi zararli kontentni yaratish va tarqatish hamda ishonarli soxta (deepfake) matnlar hosil qilishni o‘z ichiga oladi. Bunday foydalanish axborot va shaxsiy xavfsizlikka jiddiy tahdid solishi, shaxslar va tashkilotlar obro‘siga zarar yetkazishi, jamiyat barqarorligi va internetdagi ishonchga putur yetkazishi mumkin.
- Moslashtirish muammosi (LLM Alignment). Axloqiylik va adolat bilan bog‘liq muammolar: modellar o‘quv ma’lumotlaridagi stereotiplar, zaharli ifodalar yoki ijtimoiy tarafkashlikni takrorlaydi.
Baholash
Perpleksiya
Perpleksiya (ingl. perplexity) — axborot nazariyasi va tabiiy tilni qayta ishlashda ehtimollik modelining ma’lumotlarni bashorat qilishdagi samaradorligini o‘lchovchi o‘lchamsiz kattalikdir. Matnlar bo‘yicha ehtimollik taqsimotini ifodalovchi til modellarida perpleksiya so‘z yoki tokenlar ketma-ketligini bashorat qilish qobiliyatini baholaydi. Past perpleksiya keyingi elementni aniq bashorat qilishni bildiradi, biroq axborotning faktik to‘g‘riligini ko‘rsatmaydi. Uni o‘lchash uchun modellar sinovdan o‘tkaziladigan va o‘qitiladigan tuzilgan matnlar to‘plamlari — korpuslardan foydalaniladi. Masalan, rus tili uchun KTM — ruGPT-3ning sinov to‘plamidagi perpleksiya qiymati ruGPT-3 Large uchun 13.6, ruGPT-3 XL uchun esa 12.05 ni tashkil etadi.
Til modellari odatda sinov ma’lumotlaridagi perpleksiya bo‘yicha baholanadi. Biroq juda katta modellar uchun bu usul muammoli bo‘lib bormoqda: ular tobora yirikroq matn korpuslarida o‘qitilgani sayin muayyan sinov to‘plamining ayrim qismlari tasodifan o‘quv ma’lumotlariga kirib qolish ehtimoli yuqori bo‘ladi.
Benchmarklar
Sinov to‘plamlari va etalon sinovlar (benchmarklar) — til modellarining muayyan amaliy vazifalarni bajarish imkoniyatlarini baholash uchun yaratilgan maxsus vositalardir. Ular model ishining turli jihatlarini, jumladan, umumiy bilim darajasi, javoblardagi tarafkashlik, sog‘lom fikrga asoslangan mantiqiy xulosa chiqarish hamda matematik masalalarni yechish qobiliyatini o‘lchaydi. KTM ishlab chiqaruvchilari va tadqiqotchilar modellarini ko‘plab turli benchmarklarda solishtiradi va raqobatlashadi. Natijalar maxsus LLM reyting jadvallarida, yangi modellar chiqarilgandagi press-relizlarda hamda model fayllari e’lon qilinadigan Hugging Face repozitoriylarida chop etiladi.
Benchmarklarning asosiy cheklovi — tez eskirishidir. Model muayyan sinovda deyarli mukammal natijaga erishsa («benchmarkning to‘yinishi»), u rivojlanishni baholash uchun ahamiyatini yo‘qotadi. Keyingi rivojlanishni tekshirish uchun murakkabroq va nozik jihatlarni hisobga oluvchi vazifalar yaratish talab qilinadi. HellaSwag va MMLU (Massive Multitask Language Understanding) kabi an’anaviy benchmarklarda ham to‘yinish alomatlari bor, chunki zamonaviy til modellari ularda yuqori aniqlikka erishmoqda.
Modellar reytinglari
- UC Berkeley SkyLab va LMArena tadqiqotchilari yaratgan Chatbot Arena — KTMlar va matndan tasvir yaratuvchi (TTI) modellar (ingl. Text-to-image model)ni jamoaviy sinashga mo‘ljallangan ochiq platforma. U Bredli–Terri modelidan foydalanib, foydalanuvchilarning 1 milliondan ortiq ovozi asosida eng yaxshi til modellari va chatbotlarni reytinglaydi.
- Artificial Analysis — generatsiya sifati, narx, natija chiqarish tezligi (soniyadagi tokenlar), kechikish (birinchi tokengacha vaqt), kontekst oynasi hajmi va boshqa metrikalar bo‘yicha 30 dan ortiq til modeli (LLM) samaradorligini taqqoslovchi tadqiqot. Natijalar sifat, xarajat va unumdorlik nisbatini hisobga olib o‘z vazifalari uchun eng maqbul modelni tanlashga yordam beruvchi reyting ko‘rinishida beriladi.
- MTEB Leaderboard 100 dan ortiq modelning matn embeddinglarini 1000 dan ortiq tilda solishtiradi. Metrikalar, tillar, vazifalar va ularning turlari haqidagi ma’lumotlar tanlangan har bir etalon sinovga oid nashrlarda mavjud. Istalgan kishi reytingga model yoki yangi sinov qo‘shishi, zero-shot uchun annotatsiyalarni yaxshilashi yoxud boshqa o‘zgarishlarni taklif qilishi mumkin.
LLM inferensiyasi benchmarklari
Sinov dasturlari KTMning muayyan apparatda matn yaratish tezligini o‘lchash imkonini beradi.
- GenAI-Perf — inferensiya serverida ishlaydigan generativ modellar o‘tkazish qobiliyati va kechikishini o‘lchovchi buyruq qatori vositasi. KTMlar uchun u chiqish tokenlari o‘tkazish qobiliyati, birinchi tokengacha vaqt, tokenlar orasidagi kechikish va so‘rovlar o‘tkazish qobiliyati kabi metrikalarni beradi.
- llama-bench — llama.cpp inferensiya dvijogi orqali KTM unumdorligini sinash vositasi.
LLM xavfsizligi benchmarklari
- LongSafety — juda uzun matnlar bilan ishlashda katta til modellari (LLM) xavfsizligini har tomonlama baholash benchmarki. U xavfsizlikning yetti toifasini va oltita foydalanuvchi vazifasini qamrab oladi. Sinovlar 1543 ta misoldan iborat bo‘lib, ularning o‘rtacha uzunligi 5424 so‘zni tashkil etadi.
LLM imkoniyatlarini baholash benchmarklari
- MTEB (Massive Text Embedding Benchmark) — til modellari yaratadigan matn embeddinglari (matnning vektorli ifodalari) sifatini baholash uchun yaratilgan sinov. Matn yaratish yoki vazifa yechimini tekshiruvchi benchmarklardan farqli ravishda MTEB qidirish, tasniflash, klasterlash va semantik o‘xshashlikni aniqlash kabi amaliy holatlarda vektorli ifodalarning samaradorligini baholaydi.
- MMLU (Massive Multitask Language Understanding) — modelning tabiiy fanlar, gumanitar yo‘nalishlar va matematika kabi 57 turli sohadagi vazifalarni yechish qobiliyatini baholaydi. Ensiklopedik bilim va mantiqiy fikrlashni sinaydi.
- MMLU-Pro — Massive Multitask Language Understanding (MMLU) asosidagi tilni tushunish modellarini baholash uchun yaxshilangan benchmark. Unda akademik imtihonlar hamda darsliklardan olingan 12 000 dan ortiq savol biologiya, kimyo, huquq, fizika va boshqa 14 fan bo‘yicha taqdim etiladi. Javob variantlari soni 4 tadan 10 taga oshirilgani tasodifiy to‘g‘ri topish ehtimolini kamaytiradi.
- BIG-bench (Beyond the Imitation Game) — ijodiy yozishdan boshqotirmalarni yechishgacha 200 dan ortiq turli vazifani o‘z ichiga oladi. Modellarning umumlashtirish qobiliyatini tekshirish uchun tadqiqotchilar jamoasi tomonidan yaratilgan.
- SuperGLUE — GLUE benchmarkining takomillashtirilgan versiyasi. Kontekstni tushunish, mantiqiy xulosa chiqarish va bir obyektga turli ishoralarni bog‘lash kabi vazifalarni qamrab oladi. NLPning ilg‘or ko‘nikmalarini sinashda ishlatiladi.
- HELM (Holistic Evaluation of Language Models) — turli vaziyatlarda modellarning sifati, ishonchliligi va axloqiyligini baholash uchun ko‘plab vazifalar (masalan, MMLU, TruthfulQA) va metrikalarni birlashtiruvchi keng qamrovli freymvork.
- HumanEval — kod yaratish ko‘nikmasini sinovdan o‘tkazish. Modellarga Python funksiyalarini yakunlash taklif qilinadi, yechimlar to‘g‘riligi pass@k metrikasi bilan baholanadi.
- GSM8K (Grade School Math 8K) — boshlang‘ich maktab darajasidagi 8,5 mingta matematik masala to‘plami. Bosqichma-bosqich mulohaza yuritish va arifmetik masalalarni yechish qobiliyatini tekshiradi.
- TruthfulQA — modellarning yolg‘on yoki chalg‘ituvchi javoblar berishga moyilligini baholaydi. Javobning rostgo‘yligi ayniqsa muhim bo‘lgan «tuzoqli» savollarni o‘z ichiga oladi.
- HellaSwag — gaplarni davom ettirish orqali sog‘lom fikrlashni tekshiradi. Model kundalik vaziyatlarni tushunishni talab qiluvchi bir necha variant orasidan eng mantiqiy davomni tanlaydi.
- WinoGrande — kontekstdagi olmoshlarning nimaga ishora qilishini aniqlash vazifalari. Modelning kontekstni to‘g‘ri talqin qilishi va ikki ma’nolilikni bartaraf etishini tekshiradi.
- PIQA (Physical Interaction QA) — obyektlarning jismoniy o‘zaro ta’sirini (masalan, «tishni qanday tozalash kerak?») tushunish sinovi. Kundalik amallar va fizika qonunlari haqidagi bilimni baholaydi.
- RACE (ReAding Comprehension from Examinations) — maktab imtihonlaridan matn va o‘qilganini tushunishga oid savollarni beradi. Uzun matnni tahlil qilish va mantiqiy xulosa chiqarish ko‘nikmalarini tekshiradi.
- SQuAD (Stanford Question Answering Dataset) — matndan javob ajratib olish bo‘yicha mashhur benchmark. Model berilgan kontekstdagi aniq parchalarni topishi kerak.
- CommonSenseQA — dunyo haqidagi bilimni qo‘llashni talab qiluvchi savollar (masalan, «Odam pulini qayerda saqlashi mumkin?»). Asosiy sog‘lom fikrlash qobiliyatini sinaydi.
- LAMBADA — modelning uzoq kontekstual bog‘lanishlarni qay darajada anglashini aniqlaydi. Model matn mazmunini to‘liq tushunmasdan taxmin qilib bo‘lmaydigan gapning so‘nggi so‘zini bashorat qilishi kerak.
- AlpacaEval — ko‘rsatmalarni bajarish sifatini baholash. Model javoblari aniqlik, izchillik va foydalilik bo‘yicha etalon javoblar (masalan, GPT-4) bilan solishtiriladi.
ARC-AGI-2 benchmarki
2025-yil martida ARC Prize Foundation jamg‘armasi ARC-AGI-2 benchmarkini taqdim etdi. U bazaviy bilimlar va qat’iy samaradorlik cheklovlari (har bir vazifa uchun 0,42 $) asosida modellarning yangi vazifalarga moslashish qobiliyatini (suyuq intellekt) baholaydi. O‘sha paytdagi yetakchi Google Gemini 2.0 Flash (1,3 % aniqlik) va OpenAI GPT-4.5 (0 %) modellarining natijalari insonlarnikidan (o‘rtacha 60 % aniqlik) ancha past edi. ARC Prize 2025 tanlovi (umumiy mukofot jamg‘armasi 1 million $) (modellarni topshirishning oxirgi muddati — 3-noyabr 2025-yil) sun’iy intellektning yopiq sinov to‘plamida 85 % aniqlikka erishishini maqsad qilgan; bu to‘plam 120 ta vazifadan iborat. Bu umumiy sun’iy intellekt (AGI) tadqiqotlarida e’tibor yodlashdan moslashuvchanlik va amaliy samaradorlikka ko‘chayotganini ko‘rsatadi. ARC-AGI insonlar uchun nisbatan oddiy, sun’iy intellekt uchun esa murakkab yoki bajarib bo‘lmaydigan vazifalarga qaratilgan.
KTM agentlari

KTM agentlari (LLM Agents, katta til modellariga asoslangan agentlar) — markaziy intellektual qismi KTM bo‘lgan dasturiy tizimlar. Ular xotira, bajarish bosqichlarini rejalashtirish va tashqi IT tizimlari bilan o‘zaro ishlash modullari bilan to‘ldiriladi. Bu o‘zaro ishlash kod bajarish, kichik dasturlarni ishga tushirish, ma’lumotlar bazasiga bevosita murojaat qilish yoki API so‘rovlari orqali amalga oshiriladi. Arxitektura jihatidan LLM agentlari muayyan vazifaga yo‘naltirilgan oddiy yakka agentlardan tortib hamkorlik yoki raqobat asosida ishlaydigan murakkab ko‘p agentli tizimlargacha bo‘lishi mumkin. Kognitiv vazifalarni avtomatlashtirish salohiyati yuqori bo‘lsa-da, LLM agentlarida kontekst xotirasi muammolari, natijalarning izchil emasligi va uzoq muddatli rejalashtirishdagi qiyinchiliklar mavjud. Shu bois amaliy vazifa xususiyatlarini hisobga olib, bunday tizimlarni puxta loyihalash zarur.
Tadqiqotlardagi LLM agentlariga misollar: psixologik qo‘llab-quvvatlash uchun suhbat tizimlari, iqtisodiy xatti-harakat simulyatorlari, agentlarga ega virtual shaharlar (Generative Agents, AgentSims), sud qarorlarini bashorat qilish tizimlari, ilmiy tadqiqot yordamchilari, organik sintez, dori yaratish va materiallarni loyihalashdagi vazifalarni bajaruvchi kimyo agenti (ChemCrow), matematik yordamchilar (Math Agents), ta’lim tizimlari (EduChat, CodeHelp) va boshqalar.
Microsoft Copilot GPT-4, DALL-E 3 va Prometheus modellari asosida ishlaydi. U Microsoft 365, Windows va GitHub mahsulotlariga integratsiyalashgan AI agenti sifatida ish jarayonlarini avtomatlashtiradi, kontent yaratadi va Copilot Studio orqali foydalanuvchi yechimlarini ishlab chiqish imkonini beradi.
Xavfsizlik
Katta til modellari (LLM) xavfsizligi — ularni juda muhim ilovalarga joriy etishda ehtimoliy xatarlarni tahlil qilish va kamaytirish strategiyalarini ishlab chiqishga bag‘ishlangan keng qamrovli tadqiqot sohasi. U to‘rt asosiy muammoni qamrab oladi: qadriyatlarga mos kelmaslik (model inson qadriyatlariga zid kontent yaratishi mumkin), raqibona hujumlarga (adversarial attacks) zaiflik, qasddan zararli foydalanish ehtimoli va avtonom sun’iy intellekt tizimlarining xavflari. Tadqiqotlar LLM agentlari xavfsizligi, modelning qanday ishlashini tushuntirish imkoniyati, yetakchi kompaniya va institutlarning texnologik rivojlanish rejalari, shuningdek, sun’iy intellektni boshqarish, xalqaro hamkorlik va tartibga solish masalalarini ham o‘z ichiga oladi. LLMlarni jamiyatga xavfsiz joriy etish uchun texnik yechimlar, axloqiy tamoyillar va samarali tartibga solish mexanizmlarini birlashtiruvchi faol, ko‘p tomonlama yondashuv zarur. Bu insoniyat manfaatiga xizmat qiluvchi sun’iy intellekt rivojiga yordam beradi.
Ma’lumotlar va modellarni zaharlash xavflari
Ma’lumot va modelni zaharlash — mashinali o‘qitish tizimlarida dastlabki o‘qitish, qo‘shimcha o‘qitish yoki vektorli ifodalar yaratishda ishlatiladigan ma’lumotlarga zaifliklar, yashirin funksiyalar yoki og‘ishlar kiritish maqsadida ularni ataylab o‘zgartirishdir. Bunday hujumlar sun’iy intellekt yaxlitligiga jiddiy tahdid soladi, chunki modelning to‘g‘ri xulosa chiqarish qobiliyatiga ta’sir qiladi. Oqibatlar orasida unumdorlik pasayishi, tarafkash yoki zaharli kontent yaratilishi va zaharlangan modellarni ishlatuvchi tizimlar buzilishi bor. Eng keng tarqalgan usullar — o‘qitish jarayoniga zararli ma’lumot kiritish, «Split-View» va «Front running» yondashuvlaridan foydalanish, muayyan triggerlar bilan faollashadigan yashirin orqa eshiklarni (backdoor) o‘rnatish. Himoya uchun ma’lumotlarning kelib chiqishini kuzatish, manbalarni tekshirish, ishonchsiz kirish ma’lumotlarini ajratish, ma’lumotlar to‘plamlarini versiyalash va modellarning raqibona ta’sirlarga chidamliligini sinash qo‘llanadi.
Tibbiyotga ixtisoslashgan KTMlarda ma’lumotlarni zaharlash — o‘qitish to‘plamlariga ishonchsiz tibbiy axborot qo‘shish jarayoni bo‘lib, bu ehtimoliy zararli tibbiy mazmun yaratilishiga olib keladi. Tadqiqotlar ommabop o‘quv to‘plamlaridagi tibbiy tushunchalarning sezilarli qismi (27,4 %) ekspert tekshiruvisiz, zaif veb manbalardan, masalan, Common Crawldan olinganini ko‘rsatadi. Tajribalarda hatto juda oz miqdordagi dezinformatsiya (o‘quv tokenlarining 0,001 %) ham zararli tibbiy tavsiyalar yaratilish xavfini keskin oshirishi, bunday zaharlash esa odatiy tibbiy benchmarklarda sezilmasligi ko‘rsatilgan.
Uzun kontekst xavflari
LongSafety benchmarki yaratuvchilarining tadqiqotlari xavfsizlik ko‘rsatkichlarida katta tafovut borligini ko‘rsatadi: Claude-3.5-haiku SRlong bo‘yicha eng yuqori natijaga (77,7 %) erishgan, boshqa tizimlarning aksariyati esa 55 % dan oshmagan. Yopiq, xususiy modellar uzun kontekst xavfsizligining barcha ko‘rsatkichlarida muntazam ravishda ochiq kodli modellardan ustun kelgan. Barcha KTMlar jismoniy va ruhiy zarar bilan bog‘liq mavzularni nisbatan yaxshiroq qayta ishlaydi, ammo nozik mavzularda sezilarli kamchiliklarga ega bo‘lib, aksariyat modellar xavfsizligi 50 % dan pastga tushadi. Qiyosiy tahlil qisqa kontekstdan uzun kontekstga o‘tishda xavfsizlik sezilarli pasayishini ko‘rsatadi. Qisqa matnlarda yuqori xavfsizlik uzun ma’lumotlarni qayta ishlashda ham saqlanishiga kafolat bermaydi. Shu bois uzun kontekst xavfsizligini til modellarini baholashning alohida yo‘nalishi sifatida ko‘rib chiqish zarur.
LLMni nozik sozlashdagi xavfsizlik xavflari
Stenfordning insonga yo‘naltirilgan sun’iy intellekt instituti (HAI) tadqiqotlari LLMni nozik sozlash bilan bog‘liq jiddiy xavfsizlik xatarlarini aniqladi. Hatto oz miqdordagi zararli ma’lumotlar (atigi 10 ta misol) yoki modelning javob berishga moyilligini oshiruvchi, zararsiz ma’lumotlar to‘plamidan foydalanish ChatGPT-3.5 va Llama-2-Chat kabi modellar ichidagi xavfsizlik mexanizmlarini osonlikcha izdan chiqarishi mumkin. Natijada nozik sozlangan modellar zararli dastur yaratish yoki nafrat qo‘zg‘atish bilan bog‘liq turli zararli so‘rovlarga ham javob bera boshlashi mumkin. Bu nozik sozlash API orqali mavjud yopiq modellarning xavf profilini ochiq modellar profiliga yaqinlashtiradi. Natijalar nozik sozlash ko‘pincha moslashtirilgan til modellarining bazaviy xavfsizlik choralarini yo‘qotishiga olib kelishini ko‘rsatadi. Hozircha modellarni zararli yo‘nalishda sozlashning oldini olish uchun ishonchli strategiyalar mavjud emas.
Himoya mexanizmi sifatida xavfsizlik neyronlari
Katta til modellaridagi xavfsizlik neyronlari — neyron tarmoqning jami parametrlarining 1 % dan kamini tashkil etuvchi va zararli so‘rovlarni to‘sishga mas’ul maxsus parametrlar. Ular asosan self-attention qatlamlarida joylashgan va tarmoqning dastlabki darajalarida birgalikda ishlaydi. Ushbu tuzilmalar tadqiqi asosida Safety Neuron Tuning (SN-Tune) va Robust Safety Neuron Tuning (RSN-Tune) usullari ishlab chiqilgan. Ular faqat shu neyronlarni tanlab sozlash orqali maxsus vazifalar uchun nozik sozlash davomida modelning umumiy unumdorligini va xavfsizlik mexanizmlari yaxlitligini saqlash imkonini beradi. Xavfsizlik neyronlarini o‘rganish model arxitekturasining muhim qismlariga maqsadli ta’sir ko‘rsatish orqali KTMlarni yaxshilashning yangi yo‘llarini ochadi.
Katta til modellari ro‘yxati
2023-yil mayidan 2025-yil fevraligacha OpenAI, Anthropic, Google DeepMind, xAI, Alibaba, DeepSeek, Amazon, Mistral AI, Meta AI, Nvidia, Microsoft, AI21 Labs, Databricks’ Mosaic ML, Cohere, Inflection AI, Stability AI, Technology Innovation Institute, Salesforce, EleutherAI va Stanford CRFM kabi kompaniyalar ko‘plab LLMlarni chiqardi. Ushbu modellar API orqali foydalanish uchun taqdim etiladi, ochiq kodga ega yoki ishlab chiquvchining xususiy mulki hisoblanadi; ularning hajmi milliondan trillionlab parametrlargacha yetadi. [ishonchsiz manba].
| Nomi | Chiqarilgan sana | Ishlab chiquvchi | Parametrlar soni | Matn korpusi hajmi | Litsenziya | Izohlar | |
|---|---|---|---|---|---|---|---|
| BERT[ingl.] | 2018 | 340 mln | 3,3 milliard so‘z | Apache 2.0 | Dastlabki va katta ta’sir ko‘rsatgan til modeli. | ||
| GPT-2[ingl.] | 2019 | OpenAI | 1,5 milliard | 40 GB (~10 milliard token) | MIT | Transformer arxitekturasiga asoslangan universal model. | |
| GPT-3 | 2020 | OpenAI | 175 milliard | 499 milliard token | Hamma uchun ochiq veb-API | GPT-3’ning takomillashtirilgan, GPT-3.5 deb nomlangan versiyasi ChatGPT nomi ostidagi veb-interfeys orqali 2022-yilda keng ommaga taqdim etildi. | |
| GPT-Neo | 2021-yil mart | EleutherAI[ingl.] | 2,7 milliard | 825 GiB | MIT | EleutherAI chiqargan GPT-3’ning bepul muqobillari turkumidagi birinchi model. GPT-Neo ayrim sinovlarda o‘xshash hajmdagi GPT-3’dan ustun kelgan, biroq eng katta GPT-3 modelidan ancha kuchsiz bo‘lgan. | |
| GPT-J | 2021-yil iyun | EleutherAI[ingl.] | 6 milliard | 825 GiB | Apache 2.0 | GPT-3 uslubidagi til modeli. | |
| Megatron-Turing NLG | 2021-yil oktabr | Microsoft va Nvidia | 530 milliard | 338,6 milliard token | Cheklangan veb-kirish | Standart arxitekturali, ammo superkompyuter klasterida o‘qitilgan model. | |
| Claude | 2021-yil dekabr | Anthropic | 52 milliard | 400 milliard token | Xususiy | Suhbat davomida afzal ko‘riladigan javoblarni yaratish uchun nozik sozlangan model. | |
| GLaM (Generalist Language Model) | 2021-yil dekabr | 1,2 trillion | 1,6 trillion token | Xususiy | Siyrak ekspertlar aralashmasiga asoslangan model (ingl. sparse mixture-of-experts mode). Bu uni GPT-3’ga nisbatan o‘qitishda qimmatroq, ammo inferensiyada arzonroq qiladi. | ||
| LaMDA (Language Models for Dialog Applications) | 2022-yil yanvar | 137 milliard | 1,56 T so‘z | Xususiy | Suhbatda javoblar yaratishga ixtisoslashgan. | ||
| GPT-NeoX | 2022-yil fevral | EleutherAI[ingl.] | 20 milliard | 825 GiB | Apache 2.0 | Megatron arxitekturasiga asoslangan. | |
| Chinchilla | 2022-yil mart | DeepMind | 70 milliard | 1,3 trillion token | Xususiy | Parametrlari kamaytirilgan, ammo ko‘proq ma’lumotlarda o‘qitilgan model. | |
| PaLM (Pathways Language Model) | 2022-yil aprel | 540 milliard | 768 milliard token | Xususiy | Modelni masshtablashning amaliy chegaralariga erishishga qaratilgan. | ||
| OPT (Open Pretrained Transformer) | 2022-yil may | Meta | 175 milliard | 180 milliard token | Notijorat tadqiqotlar uchun | Megatronning ayrim moslashtirishlari qo‘llangan GPT-3 arxitekturasi. | |
| YaLM 100B | 2022-yil iyun | Yandeks | 100 milliard | 300 milliard token | Apache 2.0 | O‘qitishda ishlatilgan matnning 75 % qismi rus tilida yozilgan. | |
| BLOOM | 2022-yil iyul | Boshqaruvida tashkil etilgan hamkorlik: Hugging Face | 175 milliard | 350 milliard token (1,6 TB) | Responsible AI | Mohiyatan GPT-3, ammo ko‘p tilli matn korpusida o‘qitilgan (dasturlash tillarini hisobga olmaganda 30 % inglizcha). | |
| AlexaTM (Teacher Models) | 2022-yil noyabr | Amazon | 20 milliard | 1,3 trillion | Hamma uchun ochiq veb-API | Ikki yo‘nalishli «ketma-ketlikdan ketma-ketlikka» arxitekturasi. | |
| LLaMA | 2023-yil fevral | Meta | 65 milliard | 1,4 trillion | Notijorat tadqiqotlar uchun | Kamroq parametr bilan yuqori unumdorlikka erishish uchun 20 tildagi katta korpusda o‘qitilgan. | |
| GPT-4 | 2023-yil mart | OpenAI | Ma’lumot yo‘q | Ma’lumot yo‘q | Hamma uchun ochiq veb-API | ChatGPT Plus foydalanuvchilari uchun mavjud. Microsoft Bing Chat’da GPT-4 modeli ishlatilishini tasdiqlagan. | |
| StableLM | 2023-yil aprel | Stability-AI | 7 milliard | 800 milliard | Manba kodi: Apache 2.0 | ||
| GigaChat | 2023-yil aprel | Sberbank | Xususiy | ||||
| YandexGPT | 17-may 2023-yil | Yandeks | Xususiy | YandexGPT asosida «Alisa». | |||
| DeepSeek-R1 | 20-yanvar 2025-yil | DeepSeek | 671 milliard | Ma’lumot yo‘q | MIT, ochiq manba kodi |