| LLaMA | |
|---|---|
| Turi | katta til modellari oilasi[Vikima’lumotlar] va brend |
| Muallif | |
| Ishlab chiquvchi | Meta Platforms |
| Dasturlash tili | Python |
| Chiqarilgan sana | fevral 2023 |
| So‘nggi versiyasi | 4 (5-aprel 2025-yil) |
| Repozitoriy | github.com/meta-llama/ll… |
| Veb-sayt | llama.com (inglizcha) |
LLaMA (Meta AI katta til modeli (Large Language Model Meta AI)) — katta til modeli (LLM) bo‘lib, Meta AI tomonidan 2023-yil fevral oyida chiqarilgan. Og‘irliklari soni 7 milliarddan 65 milliardgacha bo‘lgan turli hajmdagi modellar o‘qitilgan. LLaMA ishlab chiquvchilari 13 milliard og‘irlikka ega model ko‘pgina tabiiy tilni qayta ishlash (NLP) sinovlarida o‘zidan ancha yirik bo‘lgan GPT-3 modelidan (175 milliard og‘irlikka ega) yaxshiroq natija ko‘rsatishini, eng yirik model esa PaLM va Chinchilla kabi zamonaviy modellar bilan raqobatlasha olishini ma’lum qilgan. O‘sha vaqtda eng qudratli katta til modellari (LLM) odatda faqat cheklangan API orqali taqdim etilar (ba’zilaridan esa umuman foydalanib bo‘lmas edi). Meta LLaMA modellarining og‘irliklarini notijorat litsenziya asosida tadqiqotchilar hamjamiyatiga taqdim etdi. LLaMA chiqarilganidan bir hafta o‘tmay, uning og‘irliklari 4chan platformasida BitTorrent.
Arxitekturasi va o‘qitilishi
Quyosh: Salom, Pluton! Ishlar qalay?
Pluton: Yomon emas. Shunchaki Quyosh tizimining chekkasida aylanib yuribman.
Quyosh: Ha, aynan shu haqda sen bilan gaplashmoqchi edim. Sen endi sayyora emassan.
Pluton: Nima? Qo‘ysang-chi! Bu adolatsizlik-ku.
Quyosh: Afsusdaman, ammo bu rost. Sen endi belgilangan mezonlarga mos kelmaysan.
Pluton: Bu bema’nilik-ku! Men 70 yildan ortiq vaqt davomida sayyora bo‘lganman!
Quyosh: Zamon o‘zgaradi, Pluton. Buni qabul qilishing kerak.
Pluton: Yo‘qol, Quyosh! O‘zing ham, ahmoqona Quyosh tiziming ham yo‘qolsin!
LLaMA transformer arxitekturasidan foydalanadi. Bu 2018-yildan beri tilni modellashtirishda standart arxitektura hisoblanadi. LLaMA ishlab chiquvchilari modeldagi og‘irliklar sonini oshirishdan ko‘ra o‘qitish ma’lumotlari hajmini ko‘paytirish orqali unumdorlikni yaxshilashga e’tibor qaratgan. Ularning fikricha, katta til modellarining (LLM) asosiy xarajati modelni o‘qitish uchun hisoblash resurslariga emas, balki o‘qitilgan model yordamida natija hosil qilishga to‘g‘ri keladi. LLaMA ochiq manbalardan olingan 1,4 trillion token asosida o‘qitilgan. Jumladan, quyidagi manbalardan foydalanilgan:
- Quyidagi manbadan olingan veb-sahifalar: Common Crawl
- Quyidagi platformadagi ochiq kodli repozitoriylar: GitHub
- Vikipediyaning 20 xil tildagi maqolalari
- Mualliflik huquqi bilan cheklanmagan (jamoat mulki) kitoblar, manba: Gutenberg loyihasi (Project Gutenberg)
- Ilmiy maqolalarning LaTeX manba kodlari, ular joylashtirilgan platforma: arXiv
- Quyidagi saytlar tarmog‘idan olingan savol-javoblar: Stack Exchange
Chiqarilishi va ma’lumotlarning sizib chiqishi
LLaMA haqida 23-fevral 2023-yilda blogdagi e’lon va modelning o‘qitilishi, arxitekturasi hamda unumdorligini tavsiflovchi hujjat orqali taqdim etilgan. Modelni o‘qitishda ishlatilgan kod ochiq kodli GPL 3 litsenziyasi ostida e’lon qilingan. Modelning og‘irliklaridan foydalanish uchun ariza topshirish talab etilgan; kirish huquqi butun dunyodagi universitet tadqiqotchilari, davlat tashkilotlari, fuqarolik jamiyati va ilmiy muassasalar vakillari, shuningdek, sanoat tadqiqot laboratoriyalariga har bir murojaatni alohida ko‘rib chiqish asosida berilgan.
2-mart 2023-yilda LLaMA og‘irliklarini o‘z ichiga olgan torrent fayli 4chan tasvirli forumida e’lon qilindi va keyinchalik sun’iy intellektga oid onlayn hamjamiyatlarda tarqaldi. O‘sha kuni LLaMA asosiy repozitoriysida rasmiy hujjatlarga magnet-havola qo‘shishni so‘rab pull request (o‘zgartirish taklifi) ochildi. 4-mart kuni modelni o‘z ichiga olgan Hugging Face (HuggingFace) repozitoriylariga havolalar qo‘shish to‘g‘risida so‘rov yuborildi. 6-mart kuni Meta ushbu o‘zgartirish taklifida ko‘rsatilgan HuggingFace repozitoriylarini modelning «ruxsatsiz tarqatilishi» deb baholab, ularni olib tashlashni talab qildi. HuggingFace talabni bajardi. 20-mart kuni Meta LLaMA modelini ko‘zgu serveridan yuklab oluvchi skript joylashtirilgan repozitoriyga nisbatan DMCA asosida mualliflik huquqi buzilgani haqidagi shikoyatni yubordi. Ertasi kuni GitHub bu talabni qondirdi. 25-mart holatiga ko‘ra, Facebook magnet-havolani qo‘shish so‘roviga javob bermagan edi.
Ma’lumotlarning sizib chiqishiga munosabat turlicha bo‘ldi. Ayrimlar modeldan zararli maqsadlarda, masalan, yanada murakkab spam xabarlar tarqatishda foydalanilishi mumkinligini taxmin qildi. Boshqalar esa modelning ochiqligi va uning kichik versiyalarini nisbatan kam xarajat bilan ishga tushirish mumkinligini ta’kidlab, bu qo‘shimcha ilmiy ishlanmalar rivojlanishiga turtki bo‘lishini aytdi. Saymon Uillison kabi ko‘plab sharhlovchilar LLaMA’ni Stable Diffusion bilan taqqosladi. Bu matndan tasvir yaratadigan model o‘zidan oldingi nisbatan murakkab modellardan farqli ravishda ochiq tarqatilgan va natijada unga oid vositalar, usullar hamda dasturiy ta’minot tez tarqalgan edi.
18-iyul 2023-yilda Meta va Microsoft til modelining yangi versiyasi — Llama 2 ni birgalikda chiqarib, undan tadqiqot va tijorat maqsadlarida foydalanishga ruxsat berdi. 2023-yil sentabr oyida har yili o‘tkaziladigan Connect tadbirida shu model asosida ishlaydigan Meta AI sun’iy intellekt yordamchisi taqdim etildi.
18-aprel 2024-yilda ochiq kodli Llama 3 chiqarildi va Meta AI yangilandi. 2024-yil iyulda yanada kuchliroq Llama 3.1 modeli paydo bo‘ldi. Bu model 405 milliarddan ortiq parametrga ega. 2024-yil sentabr oxirida Meta o‘zining birinchi ochiq kodli multimodal modeli — turli quvvatdagi katta til modellaridan iborat Llama 3.2 oilasini chiqardi.
Yan Lekun, Meta kompaniyasining sun’iy intellekt bo‘yicha sobiq bosh olimi, Financial Times nashriga bergan intervyusida Llama 4 modelining natijalari «biroz o‘zgartirilganini» aytdi. Uning so‘zlariga ko‘ra, jamoa yaxshiroq ko‘rsatkichlarga erishish uchun turli sinovlarda har xil modellardan foydalangan.
Qo‘llanilishi
Inson manfaatlariga yo‘naltirilgan sun’iy intellekt instituti (HAI) tarkibidagi Fundamental modellarni tadqiq qilish markazi (CRFM) Stenford universitetida LLaMA 7B modeli asosida o‘qitish usulini tavsiflovchi Alpaca loyihasini taqdim etdi. Unda ko‘rsatmalar bo‘yicha moslashtirish (instruction tuning)ga asoslangan «O‘z-o‘zini o‘qitish» usulidan foydalanib, text-davinci-003 (OpenAI GPT-3.5 turkumi) modeli bilan taqqoslanadigan imkoniyatlarga kam xarajat evaziga erishildi. Bir qancha ochiq kodli loyihalar Alpaca ma’lumotlar to‘plamidan foydalanib, LLaMA modelini qo‘shimcha moslashtirish bo‘yicha bu ishni davom ettirmoqda.