Mustahkamlash orqali o‘rganish (ingl. reinforcement learning) — mashinaviy o‘rganish usullaridan biri bo‘lib, bunda o‘rganayotgan tizim (agent) muayyan muhit bilan o‘zaro ta’sirlashish orqali o‘rganadi. Kibernetika nuqtayi nazaridan bu kibernetik tajriba turlaridan biridir. Qabul qilingan qarorlarga javoban (o‘qituvchi nazoratidagi o‘rganishdagi kabi maxsus mustahkamlashni boshqarish tizimidan emas, balki) muhitdan mustahkamlash signallari keladi. Shu sababli bunday o‘rganish o‘qituvchi nazoratidagi o‘rganishning alohida holati hisoblanadi, biroq bunda o‘qituvchi vazifasini muhit yoki uning modeli bajaradi. Shuni ham hisobga olish kerakki, ayrim mustahkamlash qoidalari yashirin o‘qituvchilarga asoslanadi. Masalan, sun’iy neyron muhitida formal neyronlarning bir vaqtdagi faolligiga asoslanadi. Shu sababli bu holatni o‘qituvchisiz o‘rganish deb tasniflash mumkin.
Muhit odatda Markov qaror qabul qilish jarayoni (MQQJ) ko‘rinishida tavsiflanadi, chunki mustahkamlash orqali o‘rganishning ko‘plab algoritmlari bu sharoitda dinamik dasturlash usullaridan foydalanadi. Klassik dinamik dasturlash usullari bilan mustahkamlash orqali o‘rganish algoritmlarining asosiy farqi shundaki, ikkinchisi MQQJning aniq matematik modeli ma’lum bo‘lishini talab qilmaydi va aniq usullarni qo‘llash amalda imkonsiz bo‘lib qoladigan yirik MQQJlarga mo‘ljallangan.
Muhit va agent
Agent muhitga ta’sir qiladi, muhit esa agentga ta’sir ko‘rsatadi. Bunday tizimda teskari aloqa mavjud deyiladi. Bunday tizimni yagona bir butun sifatida ko‘rib chiqish kerak. Shu sababli muhit bilan agent o‘rtasidagi chegara ancha shartlidir. Albatta, anatomik yoki fizik nuqtayi nazardan muhit va agent (organizm) o‘rtasida aniq chegara bor. Biroq tizimga funksional jihatdan qaralsa, bu ajratish noaniqlashadi. Masalan, haykaltarosh qo‘lidagi iskana marmar bo‘lagiga shakl beradigan murakkab biofizik mexanizmning bir qismi deb ham, nerv tizimi boshqarishga urinayotgan materialning bir qismi deb ham qaralishi mumkin.
Teskari aloqaga asoslangan bunday o‘rganish ilk bor 1961-yilda taniqli sovet matematigi Mixail Lvovich Tsetlinning ishida taklif etilgan va tadqiq qilingan.
O‘sha paytda M. L. Tsetlin muayyan tuzilishga ega chekli avtomatni tashqi muhitga joylashtirgan. Muhit avtomat bajargan harakatga bog‘liq ehtimolliklar bilan uni jazolagan yoki rag‘batlantirgan. Muhitning javob reaksiyasiga qarab avtomat o‘z ichki holatini mustaqil ravishda o‘zgartirgan. Natijada jazolar soni asta-sekin kamaygan, ya’ni avtomat o‘rgangan.
Ushbu avtomat xatti-harakatini tahlil qilish uchun ilk bor Markov zanjirlari nazariyasidan foydalanilgan. A. A. Markov ishlab chiqqan bu apparat aniq va matematik jihatdan isbotlangan natijalarni olish imkonini bergan.
Ushbu material sovet davridagi eng nufuzli va ta’sirchan ilmiy nashrlardan biri — «SSSR Fanlar akademiyasi ma’ruzalari»da chop etilgan. M. L. Tsetlin bu masalani avtomatning tasodifiy muhitdagi xatti-harakatini o‘rganish deb atagan.
M. L. Tsetlinning maqolasi ko‘plab ilmiy ishlarning chop etilishiga turtki bo‘lgan. Ularda chekli avtomatlar tuzilishini har tomonlama takomillashtirish usullari taklif etilgan va bu takomillashtirishlar ko‘plab amaliy sohalarda keng qo‘llanilgan.
M. L. Tsetlin yangi atamani — avtomatning tasodifiy muhitdagi maqsadga muvofiq xatti-harakatini ilmiy muomalaga kiritgan. Uning shogirdi V. L. Stefanyuk 1963-yilda jamoaviy xatti-harakat masalasini ko‘rib chiqib, «avtomatlarning jamoaviy xatti-harakati» degan yangi atamani ta’riflagan. Shuningdek, u M. L. Tsetlin avtomatlarning maqsadga muvofiq xatti-harakati haqidagi ilk maqolasida kiritgan ikki avtomatdan iborat juftlikning xatti-harakatini batafsil o‘rgangan.
V. L. Stefanyuk yarimo‘tkazgich elementlar va vakuumli radiolampalar asosida ishlaydigan, o‘z-o‘zidan o‘rganuvchi modelni yaratgan. Unda shunday ikki avtomatning jamoaviy xatti-harakati amalga oshirilgan. Ushbu model 1962-yilda Moskva davlat universitetining fizika fakultetida bitiruv ishi sifatida himoya qilingan.
V. L. Stefanyuk 1967-yilda radiostansiyalarning jamoaviy xatti-harakati modelini e’lon qilishda hamda o‘ziga xos mobil aloqa tizimini ishlab chiqishda jamoaviy xatti-harakat g‘oyasidan foydalangan. U bu tizimni bir nechta maqolada va 1968-yilda himoya qilingan nomzodlik dissertatsiyasida taqdim etgan.
M. L. Tsetlin biologiya va sotsiologiyadagi bir qancha muhim muammolarni modellashtiruvchi avtomatlar o‘yinlari masalasini shakllantirgan. Biroz keyinroq M. L. Tsetlin va S. L. Ginzburg ε-avtomat deb ataluvchi tuzilmani tavsiflagan. U mustahkamlash orqali o‘rganishga oid zamonaviy ilmiy nashrlarda tez-tez qo‘llanadi.
ε-avtomat tuzilishi deterministik muhitda ishlaydigan stoxastik avtomatdan iborat bo‘lib, muhit avtomat bajargan harakatga qarab unga to‘lovlar beradi. Yakka ε-avtomatning xatti-harakatini va bunday avtomatlarning jamoaviy xatti-harakatini matematik tahlil qilish uchun V. L. Stefanyuk bir qator yangi asimptotik usullarni ishlab chiqqan. Ularda ε-avtomatlarning xatti-harakatida muvozanat holatlari asosiy rol o‘ynashi ko‘rsatilgan. Ushbu usullar yordamida V. L. Stefanyuk iqtisodiyot va tibbiyotga taalluqli bir qator jamoaviy xatti-harakat vaziyatlarida ε-avtomatlarning faoliyati haqida yakuniy natijalarni olgan.
Avtomatlarning maqsadga muvofiq xatti-harakati haqidagi sovet olimlarining milliy va xalqaro konferensiyalarda ma’ruza sifatida taqdim etilgan ko‘plab ishlari oradan ko‘p yillar o‘tgach, mustahkamlash orqali o‘rganish yo‘nalishi mualliflarini bu turdagi o‘rganishni alohida sinfga ajratish fikriga olib kelgan.
Avtomatlarning jamoaviy xatti-harakatiga kelsak, xorijiy mualliflar tomonidan shunga o‘xshash g‘oya ko‘p agentli tizimlar konsepsiyasiga aylantirilgan. Bu konsepsiya sun’iy intellekt va dasturlash nuqtayi nazaridan o‘rganilgan. Biroq M. L. Tsetlin va V. L. Stefanyukning avtomatning maqsadga muvofiq xatti-harakati, shuningdek, bir nechta avtomatning jamoaviy xatti-harakati va o‘yinlariga bag‘ishlangan ishlaridan farqli ravishda, ko‘p agentli tizimlarda matematik tahlil va isbotlash usullari deyarli qo‘llanmagan.
Mustahkamlash tizimi va uning turlari
Rozenblatt turli o‘rganish algoritmlarini «mustahkamlash tizimlari» deb atab, ularni tasniflashga uringan. U quyidagi ta’rifni bergan:
Mustahkamlash tizimi deb perseptronning o‘zaro ta’sirlar matritsasini (yoki xotira holatini) vaqt o‘tishi bilan o‘zgartirish mumkin bo‘lgan istalgan qoidalar majmuasiga aytiladi.
Perseptronni o‘rgatishning klassik usuli — xatoni tuzatish usuli — o‘qituvchi nazoratidagi o‘rganish turiga kiradi. Rozenblatt bundan tashqari, o‘qituvchisiz o‘rganish tushunchasini ham kiritib, bir nechta o‘rgatish usulini taklif etgan:
- Alfa-mustahkamlash tizimi deb shunday mustahkamlash tizimiga aytiladiki, unda barcha faol bog‘lanishlarning og‘irliklari, ya’ni elementiga olib boradigan bog‘lanishlar og‘irliklari bir xil r miqdorga o‘zgaradi, faol bo‘lmagan bog‘lanishlar og‘irliklari esa bu vaqt davomida o‘zgarmaydi.
- Gamma-mustahkamlash tizimi deb muayyan elementning og‘irlik koeffitsiyentlarini o‘zgartirish qoidasiga aytiladi. Bunda avval barcha faol bog‘lanishlarning og‘irliklari bir xil miqdorga o‘zgartiriladi, keyin esa barcha bog‘lanishlar og‘irliklaridan boshqa bir miqdor ayirib tashlanadi. Bu miqdor faol bog‘lanishlar og‘irliklarining umumiy o‘zgarishini barcha bog‘lanishlar soniga bo‘lish orqali aniqlanadi. Mazkur tizim og‘irliklar bo‘yicha saqlanish xususiyatiga ega, chunki unda barcha bog‘lanishlar og‘irliklarining umumiy yig‘indisi na ortishi, na kamayishi mumkin.
Amaliy dasturiy yechimlar
- BURLAP (Brown-UMBC Reinforcement Learning and Planning) — bitta yoki bir nechta agent uchun rejalashtirish va mustahkamlash orqali o‘rganish algoritmlari kutubxonasi; Java dasturlash tili, LGPL litsenziyasi
- MMLF (Maja Machine Learning Framework) — mustahkamlash orqali o‘rganish algoritmlari kutubxonasi hamda ularni sinash uchun test muhitlari to‘plami; Python dasturlash tili, GPL litsenziyasi
- OpenAI Gym — OpenAI tomonidan yaratilgan mustahkamlash orqali o‘rganish algoritmlarini ishlab chiqish va taqqoslash platformasi; Python dasturlash tili, MIT litsenziyasi
- PyBrain — mashinaviy o‘rganish algoritmlari kutubxonasi; Python dasturlash tili, BSD litsenziyasi
- RLPy — mustahkamlash orqali o‘rganish bo‘yicha tajribalar o‘tkazish kutubxonasi; Python dasturlash tili, BSDning 3 bandli litsenziyasi
- Teachingbox — mustahkamlash orqali o‘rganish algoritmlarini ishlab chiqish vositalari to‘plami; Java dasturlash tili, GPL litsenziyasi
Adabiyotlar
- Satton Richard S., Barto Endryu G. Mustahkamlash orqali o‘rganish = Reinforcement Learning. — 2-nashr. — M.: DMK Press, 2020. — 552 bet. — ISBN 978-5-97060-097-9.
- Rozenblatt, F. Neyrodinamika tamoyillari: Perseptronlar va miya mexanizmlari nazariyasi = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — M.: Mir, 1965. — 480 bet.
- Satton Richard S., Barto Endryu G. Mustahkamlash orqali o‘rganish = Reinforcement Learning. — M.: BINOM. Bilimlar laboratoriyasi, 2017. — 399 bet. — ISBN 978-5-94774-351-7.