Generativ oldindan o‘qitilgan transformer (GPT)

GPT til modelining dastlabki versiyasi

Generativ oldindan o‘qitilgan transformer (ingl. Generative pre-trained transformer, GPT) — neyron tarmoqqa asoslangan til modellari bo‘lib, ular inson yozgan matnga o‘xshash matnlar yaratish uchun katta hajmdagi matnli ma’lumotlar to‘plamlarida o‘qitiladi. Dastlabki o‘qitish deganda matnlar korpusida boshlang‘ich o‘qitish jarayoni tushuniladi. Bu jarayonda model matndagi keyingi so‘zni bashorat qilishni o‘rganadi va keyingi vazifalarni katta hajmdagi qo‘shimcha ma’lumotlarsiz samarali bajarish uchun asos hosil qiladi. GPT modellar transformer turidagi neyron tarmoqlardan iborat bo‘lib, ular ketma-ket ma’lumotlarni qayta ishlashda o‘z-o‘ziga e’tibor (self-attention) mexanizmidan foydalanadi. Ularni tabiiy tilni qayta ishlash (NLP) sohasidagi matn yaratish, mashina tarjimasi va matnni tasniflash kabi turli vazifalarga moslab qo‘shimcha o‘qitish mumkin. GPT qisqartmasi General Purpose Technology (GPT) — umumiy maqsadli texnologiya (UMT) ma’nosini ham anglatishi mumkin. Bunday texnologiya jamiyatning faqat bir yoki bir nechta tarmog‘iga emas, aksariyat sohalariga ta’sir ko‘rsatadi. Insoniyat tarixi davomida bunday texnologiyalar, turli tasniflarga ko‘ra, ko‘p bo‘lmagan: masalan, Lipsi va Karlou tasnifida 24 ta.

OpenAI kompaniyasining GPT til modellari

11-iyun, 2018-yilda OpenAI kompaniyasi «Improving Language Understanding by Generative Pre-Training» («Generativ dastlabki o‘qitish orqali tilni tushunishni yaxshilash») nomli maqolani e’lon qildi. Unda generativ oldindan o‘qitilgan transformer (GPT) taqdim etildi. Bungacha tabiiy tilni qayta ishlashning eng yaxshi neyron modellari asosan nazorat ostida o‘qitish usulidan va qo‘lda belgilangan katta hajmdagi ma’lumotlardan foydalangan. Bu ularning yetarlicha belgilanmagan ma’lumotlar to‘plamlarida qo‘llanishini cheklar, juda katta til modellarini o‘qitish esa nihoyatda qimmat va ko‘p vaqt talab qiladigan jarayon edi. Bundan tashqari, ayrim tillarda yetarli matn bo‘lmagani uchun bunday modellar yordamida ularni tarjima qilish va talqin etish qiyin bo‘lgan. Bunday tillarga suaxili yoki Gaiti kreol tili ham kiradi. OpenAI tomonidan taklif etilgan zaif nazoratli («yarim nazoratli»)[ingl.] o‘qitish yondashuvi GPT modeli asosida ikki bosqichni o‘z ichiga oladi:

  1. muayyan vazifaga xos bo‘lmagan generativ «dastlabki» o‘qitish: bunda modelni tilni modellashtirishga o‘rgatish orqali boshlang‘ich parametrlar belgilanadi
  2. muayyan vazifaga xos diskriminativ (farqlovchi)[ingl.] «qo‘shimcha o‘qitish»: bunda parametrlar aniq vazifaga moslashtiriladi.
GPT modellarining OpenAI
Qo‘llanish sohasi Arxitektura Parametrlar soni O‘qitish ma’lumotlari Chiqarilgan sana
GPT-1[ingl.] Umumiy maqsadli 12 qatlamli dekoder-transformer 12 ta e’tibor boshiga ega (enkodersiz), undan keyin chiziqli softmaks. 117 million BookCorpus: 4,5 GB matn — turli janrlardagi 7000 ta nashr etilmagan kitobdan olingan. 11-iyun, 2018-yil
GPT-2[ingl.] Umumiy maqsadli GPT-1 asosida, biroq o‘zgartirilgan normallashtirish[ingl.]. 1,5 milliard (▲1 273 000 %) WebText: 40 GB matn va 8 million hujjat; ular 40 million veb-sahifadan olingan. Ushbu sahifalarga ovoz berilgan platforma — Reddit. 14-fevral, 2019-yil
GPT-3 Umumiy maqsadli GPT-2 asosida, biroq yanada keng ko‘lamda kattalashtirish imkonini beradigan o‘zgartirishlar kiritilgan. 175 milliard (▲11 566 %) 570 GB oddiy matn, 0,4 trillion token. Ma’lumotlar asosan Common Crawl, WebText, inglizcha Vikipediya hamda BookCorpus. 11-iyun, 2020-yil
InstructGPT (GPT-3.5) Suhbat GPT-3 asosidagi nozik sozlangan[ingl.] model bo‘lib, ko‘rsatmalarni bajarish uchun inson fikr-mulohazalaridan foydalanadi. 175 milliard Noma’lum 4-mart, 2022-yil
ChatGPT Muloqot Unda GPT-3.5 hamda nozik sozlash[ingl.] (ya’ni ko‘chirish orqali o‘qitish[ingl.]) yondashuvi nazorat ostida o‘qitish bilan birga RLHF (inson fikr-mulohazalari asosida mustahkamlovchi o‘qitish) usuli orqali qo‘llanadi. Noma’lum Noma’lum 30-noyabr, 2022-yil
GPT-4 Umumiy maqsadli U ham matnni bashorat qilish asosida o‘qitilgan va mustahkamlovchi o‘qitishga tayanadi. Matnni ham, tasvirlarni ham qabul qiladi. Qo‘shimcha tafsilotlar oshkor etilmagan. Noma’lum Noma’lum 14-mart, 2023-yil

Boshqa (hosila) GPT modellari

Dastlab OpenAI o‘zining GPT-3 modelini taqdim etdi, undan keyin esa EleutherAI bir qator katta til modellarini (LLM) ochiq kodli shaklda taqdim etdi. Uning GPT-J modeli muqobil yechim sifatida katta e’tibor qozondi. O‘shandan beri GPT asosidagi yangi til modellari paydo bo‘lib kelmoqda.

Boshqa ishlab chiquvchilarning asosiy GPT modellari
Qo‘llanish sohasi Arxitektura Parametrlar soni O‘qitish ma’lumotlari Chiqarilgan sana Ishlab chiquvchi
GPT-J Umumiy maqsadli Parallel dekoder 6 milliard 825 GB hajmdagi ochiq kodli ma’lumotlar to‘plami («The Pile» deb nomlanadi) 9-iyun, 2021-yil EleutherAI
BLOOM Umumiy maqsadli Transformer faqat dekoder qismidan iborat 176 milliard 46 ta tabiiy til va 13 ta dasturlash tili ma’lumotlari; jami 1,6 terabayt oldindan qayta ishlangan matn. 6-iyul, 2022-yil Hugging Face
BioGPT Biotibbiy kontent Arxitekturasi GPT-2 Medium modeliga o‘xshaydi (24 qatlam, 16 e’tibor boshi) 347 million Bo‘sh bo‘lmagan yozuvlar PubMed manbasidan (jami 1,5 millionta). 24-sentabr, 2022-yil Microsoft