Kichik til modeli

Kichik til modeli (KiTM; ingl. Small Language Model, SLM) — neyron til modeli bo‘lib, tabiiy tilni qayta ishlash, tushunish va yaratish uchun ishlab chiqilgan. Uning katta til modelidan (KaTM, LLM) asosiy farqi parametrlar sonining kamligi va qo‘llanish sohasining torligidadir.

Bir necha milliondan o‘nlab milliardgacha parametrga ega bo‘lgan til modellari kichik til modellari deb ataladi. Katta til modellari esa odatda bir necha yuz milliard parametrga ega bo‘ladi. Parametrlar sonining nisbatan kamligi bunday modellarni tezroq va osonroq o‘qitish, shuningdek, ularni foydalanuvchi qurilmalarida — kompyuterlar, noutbuklar va hokazolarda ishga tushirish imkonini beradi.

O‘qitish

Kichik til modellari katta til modellarini o‘qitishda qo‘llanadigan an’anaviy yondashuvlar yordamida ham, model hajmi kichik bo‘lsa-da, yuqori samaradorlikka erishishga qaratilgan maxsus usullar yordamida ham o‘qitiladi.

Usullar va bosqichlar

  • Bilimlar distillatsiyasi (knowledge distillation)[ingl.] — asosan mashinali o‘qitishdagi neyron tarmoq modellarini o‘qitish usuli bo‘lib, bilimlarni o‘qituvchi modeldan o‘quvchi modelga uzatishga qaratilgan.
  • Kvantlash (Quantization) — modelni siqish usuli bo‘lib, hisoblashlarning bitlar sonini kamaytirish orqali katta til modelidagi (LLM) vaznlar va faollashuv qiymatlarini o‘zgartiradi.
  • Butash (Pruning)[ingl.] — mavjud sun’iy neyron tarmog‘idagi ayrim parametrlarni olib tashlash amaliyoti.
  • Nozik sozlash (Fine-tuning) — oldindan o‘qitilgan til modelini aniq bir vazifaga (masalan, matndagi hissiy munosabatni tahlil qilishga) moslab qo‘shimcha o‘qitish orqali o‘zgartirish amaliyoti.

Mashhur modellar ro‘yxati

Model nomi Parametrlar soni Ishlab chiquvchi kompaniya
Phi-3 Mini 3,8 mlrd Microsoft
Phi-3 Small 7 mlrd Microsoft
Phi-3 Medium 14 mlrd Microsoft
Mistral 7B 7,3 mlrd Mistral AI
GPT-4o mini 8 mlrd OpenAI
Gemma 2 2B 2 mlrd Google DeepMind
Gemma 7B 7 mlrd Google DeepMind
RecurrentGemma 2B 2,68 mlrd Google DeepMind
LLaMA 3.2 3b 3 mlrd Meta AI
Llama 3 8B 8 mlrd Meta AI
OpenELM 270 mln, 450 mln, 1,1 mlrd, 3 mlrd Apple
Qwen1.5 0,5 mlrd, 1,8 mlrd, 4 mlrd, 7 mlrd Alibaba Cloud