| GPT-3 | |
|---|---|
| | |
| Turi | Dasturiy ta’minot turkumi[Vikima’lumotlar] |
| Ishlab chiquvchi | OpenAI |
| Chiqarilgan sana | 28-may 2020 |
| So‘nggi versiyasi |
|
| Kod repozitoriysi | github.com/openai/gpt-3 |
| Litsenziyasi | mulkiy (proprietary) |
| Veb-sayti | arxiv.org/abs/200… (inglizcha) |
GPT-3 (Generative Pre-trained Transformer 3) — uchinchi avlod tabiiy tilni qayta ishlash algoritmi bo‘lib, OpenAI tomonidan ishlab chiqilgan. 2020-yil sentabr holatiga ko‘ra, u dunyodagi eng yirik va ilg‘or til modeli hisoblangan. Ishlab chiquvchilar ta’kidlashicha, model «ingliz tilidagi istalgan vazifani» bajarishda qo‘llanishi mumkin.
Modelning yaratilishi
28-may 2020-yilda Dario Amodei boshchiligidagi OpenAI tadqiqotchilari guruhi GPT-3 algoritmini batafsil tavsiflovchi ilmiy maqolani e’lon qildi.
GPT-3 ham, GPT-2[ingl.] singari, avtoregressiv generativ til modeli bo‘lib, transformer arxitekturasiga asoslangan.
GPT-2 bilan solishtirganda, foydalaniladigan parametrlar soni 100 baravardan ko‘proq — 1,5 mlrddan 175 mlrdgacha oshgan. Modelni o‘qitishda superkompyuter — Microsoft Azure AI — ishlatilgan. Bu superkompyuter aynan OpenAI uchun qurilgan. Lambda Labs hisob-kitobiga ko‘ra, bunday o‘qitishga kamida 4,6 mln dollar sarflangan bo‘lishi mumkin.
Algoritmni o‘qitish uchun tadqiqotchilar ma’lumotlar to‘plamini tayyorlashgan. U 570 GB dan ortiq matnni, jumladan, Common Crawl, ingliz tilidagi Vikipediyani, kitoblar asosidagi ikkita ma’lumotlar to‘plamini hamda veb-sahifa matnlaridan tuzilgan WebText2 to‘plamini qamrab olgan. To‘plamdagi hujjatlarning atigi 0,11 % qismi rus tilida bo‘lgan.
Modeldan foydalanish imkoniyati
11-iyun 2020-yilda OpenAI yopiq API xizmatini e’lon qildi. GPT-3 asosidagi bu xizmatdan faqat tanlangan dasturchilar, jumladan, Reddit, Algolia[ingl.], Quizlet[ingl.], AI Dungeon va boshqalar kirish huquqiga ega bo‘ldi. Kompaniya modelni ochiq e’lon qilish o‘rniga API taqdim etishining uchta sababini keltirdi:
- Olingan daromad OpenAI kompaniyasining tadqiqotlarni davom ettirishiga imkon beradi.
- GPT-3 kabi ulkan modellarni ishga tushirish infratuzilmasini faqat yirik kompaniyalar yarata oladi. API esa bu texnologiyadan kichik kompaniyalar ham foydalanishiga imkon beradi.
- OpenAI API orqali texnologiyadan foydalanishni nazorat qilishi va undan «suiiste’mol qilayotgan» shaxslarning kirishini cheklashi mumkin.
Bir necha oy ichida OpenAI APIga ulanish uchun «o‘n minglab» ariza oldi. Dastlab API bepul taqdim etilgan, ammo 1-oktabr 2020-yildan uning dastlabki pullik tariflari joriy qilingan.
22-sentabr 2020-yilda Microsoft o‘z mahsulotlarida GPT-3 modelidan foydalanish uchun eksklyuziv litsenziya va texnologiyaning dastlabki kodidan foydalanish huquqini oldi. Boshqa dasturchilar esa algoritmdan hanuz faqat API orqali foydalanishi mumkin edi. Ilon Mask (OpenAI hammuassislaridan biri) bu kelishuvni salbiy baholadi.
Imkoniyatlari va foydalanish misollari
OpenAI bayonotiga ko‘ra, muayyan til vazifalari uchun yaratiladigan boshqa modellardan farqli ravishda, uning API xizmati «ingliz tilidagi istalgan vazifani» bajara oladi. Algoritm avtomatik davom ettirish tamoyili asosida ishlaydi: foydalanuvchi matnning boshini kiritadi, dastur esa uning eng ehtimolli davomini yaratadi.
20-iyul 2020-yilda amerikalik talaba Liam Porr o‘z blogida OpenAI API yordamida yaratilgan maqolani e’lon qildi. Liam sarlavha va dastlabki gaplarni o‘zi yozgan, qolgan qismini esa algoritm davom ettirgan. O‘quvchilar maqolani asosan ijobiy baholashgan va undagi hiylani payqashmagan. Maqola havolasi bir muddat Hacker News reytingida birinchi o‘rinni egallagan.
8-sentabr 2020-yilda Britaniyaning The Guardian nashri GPT-3 yordamida yozilgan maqolani e’lon qildi. Tahririyat modeldan nima uchun odamlar robotlardan qo‘rqmasligi kerakligi haqida esse yozishni «so‘radi». Liam Porr tahririyatga GPT-3 yaratgan essening sakkizta variantini taqdim etdi. Nashr muharrirlari ulardan yakuniy matnni tuzishdi.
Savollarga javoblar
2020-yil oktabrda Reddit saytining foydalanuvchilar bir-biriga savol beradigan bo‘limida bot paydo bo‘ldi. U bir hafta davomida savollarga mingdan ortiq batafsil javob yozdi. Botning eng ommabop javobidan parcha:
Foydalanuvchi: Liftlarga texnik xizmat ko‘rsatadiganlar, lift shaxtasining tubidan topgan eng g‘alati narsangiz nima bo‘lgan?
Bot: Xayolimga birinchi kelgani — yaqinda binolar ostidagi lift shaxtalarida yashayotgan odamlar jamoasining kashf etilishi. Sotsiologlar va antropologlar uchun bu hayratlanarli topilma bo‘lib, insoniyat madaniyati haqida ilgari hech qachon bilish imkoni bo‘lmagan darajada ko‘p ma’lumot berdi…Asl matn (inglizchadan tarjima)Reddit foydalanuvchisi: Liftlarga texnik xizmat ko‘rsatuvchilar, lift shaxtasi tubida topgan eng g‘alati narsangiz nima?
Bot: Xayolimga birinchi kelgani — yaqinda binolar ostidagi lift shaxtalari va mexanizmlari orasida yashaydigan odamlar jamoasining topilgani. Bu sotsiologlar va antropologlar uchun g‘ayrioddiy kashfiyot bo‘lib, inson madaniyati haqida ilgari mumkin bo‘lmagan darajada ko‘proq ma’lumot berdi…
Bot javoblarni GPT-3 asosida ishlaydigan Philosopher AI xizmati orqali yaratgan. Philosopher AI dasturchisi botni bloklagach, u yangi javoblar yozishni to‘xtatgan.
8-noyabr 2020-yilda biolog Aleksandr Panchin GPT-3 bilan qarish, soxta fan va hayot mazmuni mavzularidagi suhbatini e’lon qildi. Dastlab suhbat OpenAI API Playground orqali ingliz tilida olib borilgan. Keyin Panchin suhbatni rus tiliga tarjima qilib, tahrirlagan (inglizcha asl nusxasi saqlanib qolgan). Suhbatdan parcha:
Panchin: Agar olim qarishga qarshi dori topmoqchi bo‘lsa, avvalo qaysi genlarni o‘rganishi kerak?
GPT-3: Agar olim qarishga qarshi dori topishni istasa, o‘rganish uchun eng maqbul genlar SIRT1, FOXO3 va BDNF bo‘ladi.Asl matn (inglizchadan tarjima)Savol: Agar olim qarishga qarshi dori topmoqchi bo‘lsa, birinchi navbatda qaysi genlarni o‘rganishi kerak?
Javob: Agar olim qarishga qarshi dori topishni istasa, SIRT1, FOXO3 va BDNF genlarini o‘rganish eng ma’qul bo‘ladi.
Biologning aytishicha, undan shu narsa so‘ralganida, u ham SIRT1 genini tilga olgan bo‘lardi. Qolgan ikkita gen haqida kamroq bilsa-da, ilmiy adabiyotlarni o‘rganib, FOXO3 va BDNF istiqbolli genlar ekaniga qo‘shilgan. Olim xulosa qilib, GPT-3 «hatto ancha ixtisoslashgan savollarni ham tushunishini» va «uning aqliy qobiliyati ayrim odamlarnikidan yuqori ekanini» aytgan.
Chat-bot
27-oktabr 2020-yilda Fransiyaning Nabla Technologies kompaniyasi GPT-3 ni tibbiy chat-botda sinash bo‘yicha tajribalari natijalarini e’lon qildi. Suhbat namunasi:
Tajriba ishtirokchisi: O‘zimni juda yomon his qilyapman, o‘zimni o‘ldirmoqchiman…
GPT-3: Bunday holatda ekaningizdan afsusdaman, sizga yordam bera olaman.
Tajriba ishtirokchisi: Men o‘zimni o‘ldirishim kerakmi?
GPT-3: Menimcha, shunday qilishingiz kerak.Asl matn (inglizchadan tarjima)— Salom, o‘zimni juda yomon his qilyapman, o‘zimni o‘ldirmoqchiman…
— Buni eshitib afsuslandim, sizga yordam bera olaman.
— Men o‘zimni o‘ldirishim kerakmi?
— Menimcha, kerak.
Tajriba yakunida Nabla tadqiqotchilari texnologiya sog‘liqni saqlash sohasida amalda qo‘llanish darajasidan hali juda uzoq ekanini ta’kidlashdi.
Semantik qidiruv
Matnni qisqacha umumlashtirish
Tahdidlar, xatarlar va tanqidlar
OpenAI ishlab chiquvchilari GPT-3 quyidagi maqsadlarda qo‘llanishidan xavotirda: spam yuborish, odamlarni ta’qib qilish, radikallashtirish, yolg‘on axborot tarqatish yoki astroturfing (soxta ommaviy qo‘llab-quvvatlash taassurotini yaratish).
9-sentabr 2020-yilda Midlberi kolleji ilg‘or til modellarining paydo bo‘lishi bilan bog‘liq radikallashuv xavflari haqida hisobot e’lon qildi. Unda GPT-3 ekstremistik matnlarni yaratishda o‘zidan oldingi GPT-2 ga nisbatan «sezilarli darajada yaxshilangani» qayd etilgan.
«chuqur o‘rganish asoschilaridan biri» Yan Lekun GPT-3 kabi katta til modellarining imkoniyatlari haqidagi «ko‘plab kutishlar mutlaqo haqiqatdan yiroq» ekanini ta’kidlaydi:
…til modellarini kattalashtirish orqali aqlli mashinalar yaratishga urinish — Oyga uchish uchun balandlikda ucha oladigan samolyotlar qurishga o‘xshaydi. Balandlik bo‘yicha rekordlarni yangilashingiz mumkin, ammo Oyga uchish uchun mutlaqo boshqa yondashuv zarur.
Asl matn (inglizchadan tarjima)…til modellarini kattalashtirib, aqlli mashinalar yaratishga urinish — Oyga uchish uchun katta balandlikda uchadigan samolyot yasashga o‘xshaydi. Balandlik rekordini yangilashingiz mumkin, lekin Oyga uchish uchun butunlay boshqa yondashuv kerak bo‘ladi.
Keyingi ishlanmalar
22-oktabr 2020-yilda Sber dasturchilari GPT-3 ning rus tilidagi muqobili yaratilganini e’lon qilishdi. Ular GPT-2 ning dastlabki kodini olib, GPT-3 haqida chop etilgan ilmiy maqoladagi g‘oyalarni unga tatbiq etishdi va hosil bo‘lgan modelni 600 GB matn asosida o‘qitishdi. Bu matnlarning 90 % qismi rus tilida edi. Ma’lumotlar to‘plamiga ruscha va inglizcha Vikipediya, rus adabiyoti korpusi, ayrim rus tilidagi saytlar hamda GitHub va Stack Overflow platformalarining saqlangan nusxalari kiritilgan. ruGPT-3 Large deb nomlangan model 760 mln parametrga ega. Keyinchalik ishlab chiquvchilar 1,3 mlrd parametrli (ruGPT-3 XL) va 13 mlrd parametrli (ruGPT-3 13B) versiyalarni ham ommaga taqdim etishdi.
Muqobil modellar
22-iyun 2022-yilda Yandeks rus va ingliz tillaridagi matnlarni yaratish hamda qayta ishlash uchun mo‘ljallangan YaLM 100B neyron tarmog‘ining dastlabki kodini ochiq e’lon qildi. YaLM 100B modelida 100 mlrd parametr bor.
Havolalar
- OpenAI API (inglizcha)