AlphaStar sun’iy intellekti

AlphaStar — sun’iy intellekt dasturi, u StarCraft II o‘yinini o‘ynaydi. Uni DeepMind kompaniyasi Blizzard Entertainment bilan hamkorlikda ishlab chiqqan. AlphaStar maxsus cheklovlarsiz kibersport yo‘nalishidagi eng kuchli o‘yinchilar darajasiga yetgan birinchi sun’iy intellekt bo‘ldi. Loyiha 2016-yilda e’lon qilingan. 2018-yil oxirida professional o‘yinchilarga qarshi bir qator sinov uchrashuvlari o‘tkazildi va ularning barchasida sun’iy intellekt g‘alaba qozondi. 2019-yilda AlphaStar StarCraft II o‘yinining reyting rejimida qatnashib, o‘yin ligasidagi eng yuqori — grandmaster darajasiga erishdi.

Ishlash tamoyili

AlphaStar — sun’iy neyron tarmoq bo‘lib, uni yaratishda chuqur o‘rganish — mukofotga asoslangan o‘rganish va nazorat ostida o‘rganish usullari qo‘llangan (o‘qitish ma’lumotlari to‘plami sifatida Blizzard Entertainment taqdim etgan haqiqiy odamlarning o‘yin yozuvlaridan foydalanilgan). O‘yin davomida real o‘yinchilarning xuddi shunday vaziyatlarda qanday yo‘l tutgani haqidagi statistik ma’lumotlar ham ishlatiladi. Neyron tarmoq kiruvchi ma’lumot sifatida minixaritalarning API yordamida yaratiladigan, turli filtrlarga ega to‘plamini qabul qiladi va ular asosida keyingi harakatlar ketma-ketligini tuzadi.

Tarix

Aynan BlizzCon 2016 festivalida Blizzard Entertainment va DeepMind kompaniyalarining StarCraft II o‘yini uchun sun’iy intellekt yaratishga qaratilgan qo‘shma loyihasi e’lon qilindi. Hamkorlik doirasida Blizzard tashqi ishlab chiquvchilarning sun’iy intellekt tizimlari o‘yin bilan to‘laqonli ishlay olishini ta’minlaydigan dasturiy vositalar to‘plamini ishlab chiqa boshladi. Shuningdek, u DeepMind’ga o‘qitish ma’lumotlari sifatida odamlar o‘ynagan barcha tarmoq uchrashuvlarining yozuvlarini yetkazib berdi. 2017-yil avgustida ochiq API tayyor bo‘ldi: u StarCraft II uchun Linux operatsion tizimida ishlaydigan dastur sifatida yaratilgan edi. Ushbu dastur o‘yin haqidagi ma’lumotlardan, jumladan, odatda o‘yinchi faqat o‘yin tugaganidan keyin ko‘ra oladigan hisobdan foydalanish imkonini berardi. Dastur o‘yin grafikasini tasvirlash o‘rniga turli filtrlarga ega minixaritalar to‘plamini hosil qiladi. Ular har bir kadr bo‘yicha sun’iy intellektga uzatiladi, tizim esa shu ma’lumotlar asosida keyingi harakatlar ketma-ketligini hisoblaydi. Bundan tashqari, bir nechta bot o‘rtasida internetsiz rejimda janglar o‘tkazish imkoniyati yaratildi hamda resurslar yig‘ish, birliklarni harakatlantirish, binolar qurish va boshqa vazifalarga oid mashq ssenariylari ishlab chiqildi. DeepMind kompaniyasi Python uchun StarCraft II o‘yinini mashinaviy o‘rganish tizimlarining amaliy ishlanmalari bilan bog‘laydigan kutubxona chiqardi. Keyin DeepMind blogida ilk natijalarga bag‘ishlangan ilmiy maqolaning dastlabki nashri (preprint) e’lon qilindi. O‘sha paytda mavjud bo‘lgan sun’iy intellekt versiyasi ko‘p hollarda o‘yinning o‘ziga o‘rnatilgan eng oson sun’iy intellektga ham yutqazardi. Kamdan kam yuz bergan duranglar esa o‘yin davomiyligi oldindan sun’iy ravishda 30 daqiqa bilan cheklangani tufayli kelib chiqqan. DeepMind sun’iy intellekti terranlarning binolarni havoga ko‘tarish va xarita bo‘ylab ko‘chirish qobiliyatidan foydalanishni o‘rgandi: u shu yo‘l bilan raqib qo‘shinidan qochib, o‘yinni durangga olib kelardi.

Odamlarning o‘yin yozuvlari asosida o‘qitilgach, neyron tarmoq o‘yinda mavjud bo‘lgan eng murakkab ichki sun’iy intellektni 95% hollarda yenga boshladi. Shundan so‘ng sun’iy intellektning bu versiyasi 14 kun davomida real vaqt rejimida o‘zi bilan o‘zi o‘ynadi; bu StarCraft II o‘yinida 200 yil o‘ynashga teng edi. Dastlab DeepMind sun’iy intellekti rash (rush) strategiyasidan faol foydalangan: u nisbatan arzon jangovar birliklarni ko‘plab ishlab chiqarib, tezda g‘alaba qozonishga intilardi. Biroq vaqt o‘tishi bilan bunday hujumlardan himoyalanishni va o‘yinning boshqa jihatlariga, jumladan, iqtisodiy rivojlanishga ham e’tibor qaratishni o‘rgandi. Sun’iy intellektning asosiy versiyasidan tashqari, o‘qitish jarayonida «yordamchi o‘yinchilar» ham yaratilgan. Ularning vazifasi ijodkorona va noodatiy hujum strategiyalarini o‘ylab topish edi. Ularning g‘alaba foizi past bo‘lsa-da, sun’iy intellektni yaxshiroq o‘qitishga yordam berishdi.

19-dekabr 2018-yilda AlphaStar deb nom olgan sun’iy intellekt versiyasi va kibersportchilar Dario «TLO» Vunsh hamda Gjegoj «MaNa» Kominch o‘rtasida PvP (protossga qarshi protoss) formatida bir qator sinov o‘yinlari o‘tkazildi. AlphaStar har ikkala kibersportchini ham 5:0 hisobida mag‘lub etdi. Sun’iy intellekt ustunlikka ega edi: odam ekranda faqat ko‘rinib turgan hududni ko‘rsa, AlphaStar butun xaritani ko‘ra olardi. MaNa’ga qarshi hisobga olinmagan uchrashuvda AlphaStar odatdagi ko‘rish sohasi cheklovi bilan o‘ynadi va yutqazdi. Biroq ishlab chiquvchilar tizim bunday rejimda atigi bir hafta mashq qilganini ta’kidladilar. Bundan tashqari, o‘sha paytda sun’iy intellekt faqat PvP qarama-qarshiligida o‘ynay olgani uchun TLO o‘zining asosiy irqi — zerg o‘rniga protossni tanlashga majbur bo‘ldi.

2019-yil iyulida AlphaStar o‘yin interfeysida sun’iy intellektga qarshi o‘ynashga rozilik bergan haqiqiy o‘yinchilarga qarshi anonim tarzda reyting uchrashuvlarida qatnasha boshladi. Sun’iy intellekt uchun raqib tanlash usuli va uning reytingini hisoblash algoritmi haqiqiy o‘yinchilarnikiga o‘xshash edi. AlphaStar’ga dekabr oyidagidan ham qat’iyroq cheklovlar qo‘yildi: sun’iy intellekt faqat o‘yinchilarning kamerasi singari harakatlantiriladigan kichik hudud doirasidagi voqealarni ko‘ra olardi. Shuningdek, bir daqiqada bajariladigan harakatlar soniga (APM) ham ancha qat’iy cheklovlar joriy etildi. Sun’iy intellektning ushbu versiyasi barcha uch irq bilan to‘qqizta qarama-qarshilikning barchasida o‘ynay olardi. Natijada AlphaStar uch irqning har biri bilan o‘yindagi eng yuqori — grandmaster darajasiga erishdi. Bu darajaga mintaqadagi eng yaxshi 200 o‘yinchi (taxminan 0,2%) kiradi. DeepMind tadqiqotchisi Devid Silver ta’kidlashicha, AlphaStar maxsus cheklovlarsiz kibersport yo‘nalishida eng yaxshi o‘yinchilar saviyasiga yetgan birinchi sun’iy intellekt bo‘ldi.

Shuningdek, BlizzCon 2019 festivalida har kim AlphaStar’ga qarshi o‘ynashi mumkin bo‘lgan kompyuter o‘rnatildi. O‘ynaganlar orasida o‘sha paytdagi amaldagi jahon chempioni Yoona «Serral» Sotala ham bor edi. U sun’iy intellektga qarshi o‘yinda 1:3 hisobida mag‘lub bo‘ldi. Ammo bu natijani jiddiy ko‘rsatkich deb bo‘lmaydi: birinchidan, Serral o‘zi uchun odatiy bo‘lmagan periferik qurilmalardan foydalangan; ikkinchidan, uchrashuv maxsus tashkil qilinmagan, balki Yoonaning shaxsiy tashabbusi bilan o‘tkazilgan.

Tanqid

Ishlab chiquvchilar bir daqiqadagi harakatlar sonini odam erisha oladigan darajagacha cheklagan bo‘lsalar ham, AlphaStar inson bilan solishtirganda nihoyatda tezkorligicha qoladi. Sababi o‘yin davomida odamlar bir xil buyruqlarni takrorlaydi, shuningdek, ba’zan o‘ylamasdan, natijaga ta’sir qilmaydigan shoshma-shosharlik harakatlarini bajaradi. Sun’iy intellektning har bir harakati esa aniq va maqsadli bo‘ladi. Masalan, ko‘p sonli jangovar birliklar qatnashgan to‘qnashuvda AlphaStar har bir birlikka alohida buyruqni haqiqiy inson erisha olmaydigan tezlik va aniqlikda bera oladi. Sharhlovchi Aleksey «Alex007» Trushlyakov ham sun’iy intellekt haqiqiy o‘yinchilarning ayrim usullaridagi ma’noni tushunmasligini va ularni har doim ham to‘g‘ri takrorlay olmasligini ta’kidlaydi.