GPT-3 til modeli

GPT-3
Скриншот программы GPT-3
Turi Dasturiy ta’minot turkumi[Vikima’lumotlar]
Ishlab chiquvchi OpenAI
Chiqarilgan sana 28-may 2020
So‘nggi versiyasi
  • 175B
Kod repozitoriysi github.com/openai/gpt-3
Litsenziyasi mulkiy (proprietary)
Veb-sayti arxiv.org/abs/200… (inglizcha)
Логотип Викисклада Vikimedia omboridagi mediafayllar

GPT-3 (Generative Pre-trained Transformer 3) — uchinchi avlod tabiiy tilni qayta ishlash algoritmi bo‘lib, OpenAI tomonidan ishlab chiqilgan. 2020-yil sentabr holatiga ko‘ra, u dunyodagi eng yirik va ilg‘or til modeli hisoblangan. Ishlab chiquvchilar ta’kidlashicha, model «ingliz tilidagi istalgan vazifani» bajarishda qo‘llanishi mumkin.

Modelning yaratilishi

28-may 2020-yilda Dario Amodei boshchiligidagi OpenAI tadqiqotchilari guruhi GPT-3 algoritmini batafsil tavsiflovchi ilmiy maqolani e’lon qildi.

GPT-3 ham, GPT-2[ingl.] singari, avtoregressiv generativ til modeli bo‘lib, transformer arxitekturasiga asoslangan.

GPT-2 bilan solishtirganda, foydalaniladigan parametrlar soni 100 baravardan ko‘proq — 1,5 mlrddan 175 mlrdgacha oshgan. Modelni o‘qitishda superkompyuter — Microsoft Azure AI — ishlatilgan. Bu superkompyuter aynan OpenAI uchun qurilgan. Lambda Labs hisob-kitobiga ko‘ra, bunday o‘qitishga kamida 4,6 mln dollar sarflangan bo‘lishi mumkin.

Algoritmni o‘qitish uchun tadqiqotchilar ma’lumotlar to‘plamini tayyorlashgan. U 570 GB dan ortiq matnni, jumladan, Common Crawl, ingliz tilidagi Vikipediyani, kitoblar asosidagi ikkita ma’lumotlar to‘plamini hamda veb-sahifa matnlaridan tuzilgan WebText2 to‘plamini qamrab olgan. To‘plamdagi hujjatlarning atigi 0,11 % qismi rus tilida bo‘lgan.

Modeldan foydalanish imkoniyati

11-iyun 2020-yilda OpenAI yopiq API xizmatini e’lon qildi. GPT-3 asosidagi bu xizmatdan faqat tanlangan dasturchilar, jumladan, Reddit, Algolia[ingl.], Quizlet[ingl.], AI Dungeon va boshqalar kirish huquqiga ega bo‘ldi. Kompaniya modelni ochiq e’lon qilish o‘rniga API taqdim etishining uchta sababini keltirdi:

  1. Olingan daromad OpenAI kompaniyasining tadqiqotlarni davom ettirishiga imkon beradi.
  2. GPT-3 kabi ulkan modellarni ishga tushirish infratuzilmasini faqat yirik kompaniyalar yarata oladi. API esa bu texnologiyadan kichik kompaniyalar ham foydalanishiga imkon beradi.
  3. OpenAI API orqali texnologiyadan foydalanishni nazorat qilishi va undan «suiiste’mol qilayotgan» shaxslarning kirishini cheklashi mumkin.

Bir necha oy ichida OpenAI APIga ulanish uchun «o‘n minglab» ariza oldi. Dastlab API bepul taqdim etilgan, ammo 1-oktabr 2020-yildan uning dastlabki pullik tariflari joriy qilingan.

22-sentabr 2020-yilda Microsoft o‘z mahsulotlarida GPT-3 modelidan foydalanish uchun eksklyuziv litsenziya va texnologiyaning dastlabki kodidan foydalanish huquqini oldi. Boshqa dasturchilar esa algoritmdan hanuz faqat API orqali foydalanishi mumkin edi. Ilon Mask (OpenAI hammuassislaridan biri) bu kelishuvni salbiy baholadi.

Imkoniyatlari va foydalanish misollari

OpenAI bayonotiga ko‘ra, muayyan til vazifalari uchun yaratiladigan boshqa modellardan farqli ravishda, uning API xizmati «ingliz tilidagi istalgan vazifani» bajara oladi. Algoritm avtomatik davom ettirish tamoyili asosida ishlaydi: foydalanuvchi matnning boshini kiritadi, dastur esa uning eng ehtimolli davomini yaratadi.

20-iyul 2020-yilda amerikalik talaba Liam Porr o‘z blogida OpenAI API yordamida yaratilgan maqolani e’lon qildi. Liam sarlavha va dastlabki gaplarni o‘zi yozgan, qolgan qismini esa algoritm davom ettirgan. O‘quvchilar maqolani asosan ijobiy baholashgan va undagi hiylani payqashmagan. Maqola havolasi bir muddat Hacker News reytingida birinchi o‘rinni egallagan.

8-sentabr 2020-yilda Britaniyaning The Guardian nashri GPT-3 yordamida yozilgan maqolani e’lon qildi. Tahririyat modeldan nima uchun odamlar robotlardan qo‘rqmasligi kerakligi haqida esse yozishni «so‘radi». Liam Porr tahririyatga GPT-3 yaratgan essening sakkizta variantini taqdim etdi. Nashr muharrirlari ulardan yakuniy matnni tuzishdi.

Savollarga javoblar

2020-yil oktabrda Reddit saytining foydalanuvchilar bir-biriga savol beradigan bo‘limida bot paydo bo‘ldi. U bir hafta davomida savollarga mingdan ortiq batafsil javob yozdi. Botning eng ommabop javobidan parcha:

Foydalanuvchi: Liftlarga texnik xizmat ko‘rsatadiganlar, lift shaxtasining tubidan topgan eng g‘alati narsangiz nima bo‘lgan?
Bot: Xayolimga birinchi kelgani — yaqinda binolar ostidagi lift shaxtalarida yashayotgan odamlar jamoasining kashf etilishi. Sotsiologlar va antropologlar uchun bu hayratlanarli topilma bo‘lib, insoniyat madaniyati haqida ilgari hech qachon bilish imkoni bo‘lmagan darajada ko‘p ma’lumot berdi…

Bot javoblarni GPT-3 asosida ishlaydigan Philosopher AI xizmati orqali yaratgan. Philosopher AI dasturchisi botni bloklagach, u yangi javoblar yozishni to‘xtatgan.

8-noyabr 2020-yilda biolog Aleksandr Panchin GPT-3 bilan qarish, soxta fan va hayot mazmuni mavzularidagi suhbatini e’lon qildi. Dastlab suhbat OpenAI API Playground orqali ingliz tilida olib borilgan. Keyin Panchin suhbatni rus tiliga tarjima qilib, tahrirlagan (inglizcha asl nusxasi saqlanib qolgan). Suhbatdan parcha:

Panchin: Agar olim qarishga qarshi dori topmoqchi bo‘lsa, avvalo qaysi genlarni o‘rganishi kerak?
GPT-3: Agar olim qarishga qarshi dori topishni istasa, o‘rganish uchun eng maqbul genlar SIRT1, FOXO3 va BDNF bo‘ladi.

Biologning aytishicha, undan shu narsa so‘ralganida, u ham SIRT1 genini tilga olgan bo‘lardi. Qolgan ikkita gen haqida kamroq bilsa-da, ilmiy adabiyotlarni o‘rganib, FOXO3 va BDNF istiqbolli genlar ekaniga qo‘shilgan. Olim xulosa qilib, GPT-3 «hatto ancha ixtisoslashgan savollarni ham tushunishini» va «uning aqliy qobiliyati ayrim odamlarnikidan yuqori ekanini» aytgan.

Chat-bot

27-oktabr 2020-yilda Fransiyaning Nabla Technologies kompaniyasi GPT-3 ni tibbiy chat-botda sinash bo‘yicha tajribalari natijalarini e’lon qildi. Suhbat namunasi:

Tajriba ishtirokchisi: O‘zimni juda yomon his qilyapman, o‘zimni o‘ldirmoqchiman…
GPT-3: Bunday holatda ekaningizdan afsusdaman, sizga yordam bera olaman.
Tajriba ishtirokchisi: Men o‘zimni o‘ldirishim kerakmi?
GPT-3: Menimcha, shunday qilishingiz kerak.

Tajriba yakunida Nabla tadqiqotchilari texnologiya sog‘liqni saqlash sohasida amalda qo‘llanish darajasidan hali juda uzoq ekanini ta’kidlashdi.

Semantik qidiruv

Matnni qisqacha umumlashtirish

Tahdidlar, xatarlar va tanqidlar

OpenAI ishlab chiquvchilari GPT-3 quyidagi maqsadlarda qo‘llanishidan xavotirda: spam yuborish, odamlarni ta’qib qilish, radikallashtirish, yolg‘on axborot tarqatish yoki astroturfing (soxta ommaviy qo‘llab-quvvatlash taassurotini yaratish).

9-sentabr 2020-yilda Midlberi kolleji ilg‘or til modellarining paydo bo‘lishi bilan bog‘liq radikallashuv xavflari haqida hisobot e’lon qildi. Unda GPT-3 ekstremistik matnlarni yaratishda o‘zidan oldingi GPT-2 ga nisbatan «sezilarli darajada yaxshilangani» qayd etilgan.

«chuqur o‘rganish asoschilaridan biri» Yan Lekun GPT-3 kabi katta til modellarining imkoniyatlari haqidagi «ko‘plab kutishlar mutlaqo haqiqatdan yiroq» ekanini ta’kidlaydi:

…til modellarini kattalashtirish orqali aqlli mashinalar yaratishga urinish — Oyga uchish uchun balandlikda ucha oladigan samolyotlar qurishga o‘xshaydi. Balandlik bo‘yicha rekordlarni yangilashingiz mumkin, ammo Oyga uchish uchun mutlaqo boshqa yondashuv zarur.

Keyingi ishlanmalar

22-oktabr 2020-yilda Sber dasturchilari GPT-3 ning rus tilidagi muqobili yaratilganini e’lon qilishdi. Ular GPT-2 ning dastlabki kodini olib, GPT-3 haqida chop etilgan ilmiy maqoladagi g‘oyalarni unga tatbiq etishdi va hosil bo‘lgan modelni 600 GB matn asosida o‘qitishdi. Bu matnlarning 90 % qismi rus tilida edi. Ma’lumotlar to‘plamiga ruscha va inglizcha Vikipediya, rus adabiyoti korpusi, ayrim rus tilidagi saytlar hamda GitHub va Stack Overflow platformalarining saqlangan nusxalari kiritilgan. ruGPT-3 Large deb nomlangan model 760 mln parametrga ega. Keyinchalik ishlab chiquvchilar 1,3 mlrd parametrli (ruGPT-3 XL) va 13 mlrd parametrli (ruGPT-3 13B) versiyalarni ham ommaga taqdim etishdi.

Muqobil modellar

22-iyun 2022-yilda Yandeks rus va ingliz tillaridagi matnlarni yaratish hamda qayta ishlash uchun mo‘ljallangan YaLM 100B neyron tarmog‘ining dastlabki kodini ochiq e’lon qildi. YaLM 100B modelida 100 mlrd parametr bor.

Havolalar