Kichik til modeli (KiTM; ingl. Small Language Model, SLM) — neyron til modeli bo‘lib, tabiiy tilni qayta ishlash, tushunish va yaratish uchun ishlab chiqilgan. Uning katta til modelidan (KaTM, LLM) asosiy farqi parametrlar sonining kamligi va qo‘llanish sohasining torligidadir.
Bir necha milliondan o‘nlab milliardgacha parametrga ega bo‘lgan til modellari kichik til modellari deb ataladi. Katta til modellari esa odatda bir necha yuz milliard parametrga ega bo‘ladi. Parametrlar sonining nisbatan kamligi bunday modellarni tezroq va osonroq o‘qitish, shuningdek, ularni foydalanuvchi qurilmalarida — kompyuterlar, noutbuklar va hokazolarda ishga tushirish imkonini beradi.
O‘qitish
Kichik til modellari katta til modellarini o‘qitishda qo‘llanadigan an’anaviy yondashuvlar yordamida ham, model hajmi kichik bo‘lsa-da, yuqori samaradorlikka erishishga qaratilgan maxsus usullar yordamida ham o‘qitiladi.
Usullar va bosqichlar
- Bilimlar distillatsiyasi (knowledge distillation)[ingl.] — asosan mashinali o‘qitishdagi neyron tarmoq modellarini o‘qitish usuli bo‘lib, bilimlarni o‘qituvchi modeldan o‘quvchi modelga uzatishga qaratilgan.
- Kvantlash (Quantization) — modelni siqish usuli bo‘lib, hisoblashlarning bitlar sonini kamaytirish orqali katta til modelidagi (LLM) vaznlar va faollashuv qiymatlarini o‘zgartiradi.
- Butash (Pruning)[ingl.] — mavjud sun’iy neyron tarmog‘idagi ayrim parametrlarni olib tashlash amaliyoti.
- Nozik sozlash (Fine-tuning) — oldindan o‘qitilgan til modelini aniq bir vazifaga (masalan, matndagi hissiy munosabatni tahlil qilishga) moslab qo‘shimcha o‘qitish orqali o‘zgartirish amaliyoti.
Mashhur modellar ro‘yxati
| Model nomi | Parametrlar soni | Ishlab chiquvchi kompaniya |
|---|---|---|
| Phi-3 Mini | 3,8 mlrd | Microsoft |
| Phi-3 Small | 7 mlrd | Microsoft |
| Phi-3 Medium | 14 mlrd | Microsoft |
| Mistral 7B | 7,3 mlrd | Mistral AI |
| GPT-4o mini | 8 mlrd | OpenAI |
| Gemma 2 2B | 2 mlrd | Google DeepMind |
| Gemma 7B | 7 mlrd | Google DeepMind |
| RecurrentGemma 2B | 2,68 mlrd | Google DeepMind |
| LLaMA 3.2 3b | 3 mlrd | Meta AI |
| Llama 3 8B | 8 mlrd | Meta AI |
| OpenELM | 270 mln, 450 mln, 1,1 mlrd, 3 mlrd | Apple |
| Qwen1.5 | 0,5 mlrd, 1,8 mlrd, 4 mlrd, 7 mlrd | Alibaba Cloud |