Rekurrent neyron tarmoq

Rekurrent neyron tarmoqlari (RNT, ingl. Recurrent neural network, RNN) — neyron tarmoqlarining bir turi bo‘lib, unda elementlar orasidagi bog‘lanishlar yo‘naltirilgan ketma-ketlikni hosil qiladi. Shu tufayli vaqt bo‘yicha ro‘y beradigan hodisalar ketma-ketligini yoki fazodagi ketma-ket zanjirlarni qayta ishlash mumkin bo‘ladi. Ko‘p qatlamli perseptronlardan farqli ravishda, rekurrent tarmoqlar istalgan uzunlikdagi ketma-ketliklarni qayta ishlash uchun o‘zining ichki xotirasidan foydalana oladi. Shuning uchun RNN tarmoqlari yaxlit ma’lumot qismlarga ajratilgan masalalarda, masalan, qo‘lyozma matnni tanib olish yoki nutqni tanib olishda qo‘llanadi. Rekurrent tarmoqlar uchun oddiylaridan murakkablarigacha ko‘plab arxitektura yechimlari taklif qilingan. So‘nggi vaqtlarda eng keng tarqalganlari uzoq va qisqa muddatli xotirali tarmoq (LSTM) va boshqariladigan rekurrent blok (GRU) bo‘ldi.

Tarixi

Jon Xopfild 1982-yilda Xopfild tarmog‘ini taklif qildi. 1993-yilda tarixiy ma’lumotlarni eslab qolish va siqishga mo‘ljallangan neyron tizimi rekurrent tarmoqda ketma-ket 1000 dan ortiq qatlam yoyilgan «o‘ta chuqur o‘rganish» masalasini hal qila oldi.

Uzoq va qisqa muddatli xotirali tarmoq (ingl. Long short-term memory, LSTM) turli ilovalarda qo‘llanila boshladi.

2007-yildan boshlab LSTM ommalashdi va nutqni tanib olish sifatini an’anaviy modellarga nisbatan sezilarli darajada yaxshilab, uni yangi bosqichga olib chiqdi. 2009-yilda reyting bo‘yicha tasniflash yondashuvi (ingl. Connectionist temporal classification, CTC) paydo bo‘ldi. Bu usul rekurrent tarmoqlarga qo‘lyozma matnni tanib olishda kontekstni tahlil qilish imkonini berdi. 2014-yilda Xitoy ensiklopediyasi va qidiruv tizimi Baidu CTC asosida o‘qitilgan rekurrent tarmoqlardan foydalanib, Switchboard Hub5’00 ko‘rsatkichlarini an’anaviy usullardan yuqori darajaga olib chiqishga muvaffaq bo‘ldi.

LSTM katta lug‘atlarga asoslangan nutqni tanib olish va matndan nutq sintez qilish sifatini yaxshiladi, shuningdek, Google Android operatsion tizimida ham qo‘llanildi. 2015-yilda Google’ning nutqni tanib olish ko‘rsatkichlari 49 % gacha sezilarli yaxshilandi. Bunga CTC asosida LSTM’ni maxsus o‘qitish tizimining qo‘llanishi sabab bo‘ldi. Ushbu tizim ishlatilgan xizmat — Google Voice Search (inglizcha).

LSTM mashina tarjimasi sifatini, shuningdek, til modellarini yaratish va ko‘p tilli matnlarni qayta ishlash sifatini yangi bosqichga ko‘tardi. LSTM’ni konvolyutsion neyron tarmoqlar (CNN) bilan birlashtirish tasvirlarni avtomatik tavsiflashni takomillashtirish imkonini berdi.

Arxitekturasi

Rekurrent neyron tarmoqlarining ko‘plab turlari, yechimlari va konstruktiv elementlari mavjud.

Rekurrent tarmoqning murakkabligi shundaki, har bir vaqt qadami hisobga olinsa, har bir qadam uchun alohida neyronlar qatlamini yaratishga to‘g‘ri keladi. Bu esa hisoblashda jiddiy qiyinchiliklarni keltirib chiqaradi. Bundan tashqari, ko‘p qatlamli amalga oshirishlar hisoblash jihatidan beqaror bo‘lishi mumkin, chunki ularda vaznlar odatda yo‘qolib ketadi yoki haddan tashqari ortib ketadi. Hisoblash belgilangan vaqt oralig‘i bilan cheklansa, olingan modellar uzoq muddatli tendensiyalarni aks ettirmaydi. Turli yondashuvlar tarixiy xotira modelini hamda ma’lumotni eslab qolish va unutish mexanizmlarini takomillashtirishga intiladi.

To‘liq rekurrent tarmoq

Ushbu asosiy arxitektura 1980-yillarda ishlab chiqilgan. Tarmoq tugunlardan tashkil topadi va har bir tugun boshqa barcha tugunlar bilan bog‘langan bo‘ladi. Har bir neyronning faollashish chegarasi vaqt o‘tishi bilan o‘zgaradi va haqiqiy son bilan ifodalanadi. Har bir bog‘lanish o‘zgaruvchan haqiqiy vaznga ega. Tugunlar kirish, chiqish va yashirin tugunlarga bo‘linadi.

Diskret vaqtli o‘qituvchi bilan o‘qitishda har bir (diskret) vaqt qadamida kirish tugunlariga ma’lumot uzatiladi, boshqa tugunlar o‘z faollashuvini yakunlaydi va chiqish signallari keyingi daraja neyroniga uzatish uchun tayyorlanadi. Masalan, tarmoq nutqni tanib olish uchun javobgar bo‘lsa, chiqish tugunlarida natija sifatida belgilangan yorliqlar (tanib olingan so‘zlar) hosil bo‘ladi.

Bunda mustahkamlovchi o‘qitish (reinforcement learning) jarayonida tarmoqqa maqsadli signallarni beradigan o‘qituvchi bo‘lmaydi. Uning o‘rniga ba’zan moslashuvchanlik (yaroqlilik) funksiyasi yoki baholash funksiyasi (reward function) ishlatiladi. Bu funksiyalar tarmoq ishining sifatini baholaydi, chiqishdagi qiymatlar esa tarmoqning kirishdagi xatti-harakatiga ta’sir ko‘rsatadi. Xususan, tarmoq o‘yin jarayonini amalga oshirsa, chiqishda yutuq ochkolari soni yoki vaziyat bahosi o‘lchanadi.

Har bir zanjir xatoni tarmoqning chiqish signallari bo‘yicha umumiy og‘ish sifatida hisoblaydi. Agar o‘qitish namunalari to‘plami mavjud bo‘lsa, xato har bir alohida namunaning xatolari hisobga olingan holda aniqlanadi.

Rekursiv tarmoq

Rekursiv neyron tarmoqlari rekurrent tarmoqlarning umumiyroq ko‘rinishi bo‘lib, ularda signal daraxtsimon tuzilma (odatda ikkilik daraxtlar) orqali o‘tadi. Bir xil vazn matritsalari grafning topologiyasiga muvofiq butun graf bo‘ylab rekursiv ravishda qo‘llanadi. Rekursiv neyron tarmoqlari tabiiy tilni qayta ishlash masalalarida qo‘llanadi. Shuningdek, daraxtdagi barcha tugunlar uchun tenzor funksiyalaridan foydalanadigan tenzorli rekursiv neyron tarmoqlari (RNTN, Recursive Neural Tensor Network) ham mavjud.

Xopfild neyron tarmog‘i

Xopfild tarmog‘i — barcha bog‘lanishlari simmetrik bo‘lgan rekurrent tarmoq turidir. Uni Jon Xopfild 1982-yilda yaratgan va bunday tarmoq dinamikasi muvozanat holatlaridan biriga yaqinlashishi kafolatlanadi. Agar bog‘lanishlarni yaratishda Xebb bo‘yicha o‘qitish (inglizcha) qo‘llansa, Xopfild tarmog‘i bog‘lanishlar o‘zgarishiga chidamli, ishonchli assotsiativ xotira sifatida ishlashi mumkin.

Ikki yo‘nalishli assotsiativ xotira (BAM)

Xopfild tarmog‘ining bir turi — ikki yo‘nalishli assotsiativ xotira (BAM). BAM ikki qatlamdan iborat. Ularning har biri kirish qatlami vazifasini bajarishi, assotsiatsiyani topishi (esga tushirishi) va boshqa qatlam uchun natija hosil qilishi mumkin.

Elman va Jordan tarmoqlari

Elman tarmog‘i

Elman neyron tarmog‘i uch qatlamli neyron tarmog‘idir. Rasmda tarmoq qatlamlari x, y va z bilan belgilangan. Tarmoqda «kontekst bloklari» (u — rasmda) majmuasi ham mavjud. Ularda yashirin qatlam tugunlarining oldingi qiymatlari saqlanadi. Buning uchun yashirin qatlam kontekst bloklari bilan vazni birga teng bo‘lgan doimiy to‘g‘ridan to‘g‘ri bog‘lanishlar orqali ulangan. Har bir qadamda kirishga ma’lumot keladi va u o‘qitish qoidalariga muvofiq chiqish qatlamigacha to‘g‘ri yo‘nalishda uzatiladi. Kontekst bloklaridan keladigan doimiy qayta aloqa bog‘lanishlari yashirin qatlam tugunlarining avvalgi holatlaridagi qiymatlarni (o‘qitish jarayonida yashirin qatlam qiymati o‘zgarmasidan oldingi holatlarni) uzatadi. Shu tarzda tarmoq avvalgi holatini saqlaydi va ketma-ketliklarni bashorat qila oladi. Bu imkoniyat ko‘p qatlamli perseptron imkoniyatlaridan tashqaridadir.

Jordan neyron tarmog‘i Elman tarmog‘iga o‘xshaydi. Biroq undagi kontekst bloklari yashirin qatlamga emas, chiqish qatlamiga ulangan. Shunday qilib, kontekst bloklari tarmoqning avvalgi holatini saqlab, unda rekurrent bog‘lanishni ta’minlaydi.

Elman va Jordan tarmoqlari «oddiy rekurrent tarmoqlar» (SRN) deb ham ataladi.

Elman tarmog‘i
ht=σh(Whxt+Uhht−1+bh)yt=σy(Wyht+by)
Jordan tarmog‘i
ht=σh(Whxt+Uhst+bh)yt=σy(Wyht+by)st=σs(Ws,sst−1+Ws,yyt−1+bs)

O‘zgaruvchilar va funksiyalar belgilari:

  • xt: kirish qatlami vektori
  • ht: yashirin qatlam vektori
  • st: holat vektori (kontekst bloklari)
  • yt: chiqish qatlami vektori
  • W, U va b: bog‘lanishlar vazn matritsalari va parametrlar vektori
  • σh va σy: Faollashtirish funksiyasi

Exo-tarmoqlar

Exo-tarmoq (ingl. echo state network; ESN) neyronlar orasida tasodifiy, siyrak bog‘lanishlarga ega bo‘lgan bitta yashirin qatlam (rezervuar deb ataladi) bilan tavsiflanadi. Rezervuar ichidagi bog‘lanishlar o‘zgarmas bo‘lsa-da, chiqish qatlami bilan bog‘lanishlar o‘qitiladi. Rezervuar holati (state) rezervuarning oldingi holatlari hamda kirish va chiqish signallarining avvalgi holatlari asosida hisoblanadi. Exo-tarmoqlarda faqat bitta yashirin qatlam bo‘lgani sababli ularning hisoblash murakkabligi ancha past. Biroq modellashtirish sifati ko‘p jihatdan boshlang‘ich sozlamalarga bog‘liq bo‘lib, ular, soddaroq aytganda, tasodifiy tanlanadi. Exo-tarmoqlar vaqt qatorlarini qayta yaratishda yaxshi natija beradi. Exo-tarmoqlarning bir turi — impulsli (spaykli) neyron tarmoqlari bo‘lib, ular suyuq neyron tarmoqlari deb ham ataladi («suyuq» atamasi suvga tushgan toshdan tarqaladigan halqasimon to‘lqinlar o‘xshatishidan olingan; bu kirish hodisasiga nisbatan qisqa muddatli xotirani ifodalaydi).

Tarixiy ma’lumotlarni neyron siquvchi

Tarixiy ma’lumotlarni neyron siquvchi — jarayonning muhim tarixiy xususiyatlarini siqilgan holda saqlashga imkon beradigan blok. U o‘z-o‘zini o‘qitish jarayonida shakllanadigan rekurrent neyron tarmog‘i qatlamlari stekining o‘ziga xos ko‘rinishidir. Kirish signali darajasida tarixiy ma’lumotlarni neyron siquvchi oldingi ma’lumotlarga asoslanib keyingi kirish signalini bashorat qilishga urinadi. Rekurrent tarmoqning keyingi darajasiga faqat bashorat qilib bo‘lmagan va shu bilan birga siquvchining holatini o‘zgartirishga yordam beradigan kirish signallari uzatiladi. Tarmoqning har bir keyingi qatlami avvalgi qatlamlardan kelgan siqilgan tarixiy ma’lumotlarni xuddi shu tarzda o‘rganadi. Natijada kirish ketma-ketligini keyingi qatlamlardagi tasvirlanishiga qarab aniq qayta tiklash mumkin.

Tizim tavsif hajmini imkon qadar kamaytirishga intiladi yoki ma’lumotlar ehtimolligini baholashda manfiy logarifmlardan foydalanadi. Kiruvchi ma’lumotlar ketma-ketligidagi o‘rganilgan bashorat qilish imkoniyatidan foydalanib, keyingi darajadagi RNN o‘qituvchi bilan o‘qitish orqali asosiy hodisalar orasida katta vaqt oralig‘i bo‘lgan juda chuqur ketma-ketliklarni ham tasniflashi mumkin.

Shunday qilib, RNN tarmog‘ini ikki darajaga ajratish mumkin: «ongli» (yuqori daraja) va «ongsiz» avtomatlashtiruvchi (quyi daraja). Yuqori daraja avtomatlashtiruvchidan foydalanib bashorat qilib bo‘lmaydigan kirish ma’lumotlarini bashorat qilish va siqishni o‘rganganidan so‘ng, keyingi o‘qitish bosqichida avtomatlashtiruvchini yuqori darajadagi sekinroq o‘zgaruvchi qo‘shimcha yoki yashirin bloklar orqali mustaqil bashorat qilishga yoxud taqlid qilishga majburlash mumkin. Bu avtomatlashtiruvchining ishini yengillashtiradi va uzoq muddat saqlanadigan, ammo kam o‘zgaradigan xotira ma’lumotlarini hisobga olishga imkon beradi. Natijada avtomatlashtiruvchi ilgari bashorat qilib bo‘lmagan ko‘plab kirish signallarini bashorat qilinadigan holga keltiradi, yuqori daraja esa hali bashorat qilib bo‘lmaydigan hodisalarga e’tibor qaratadi.

Uzoq va qisqa muddatli xotira (LSTM)

Uzoq va qisqa muddatli xotirali tarmoq (ingl.  Long short term memory, LSTM) — chuqur o‘rganish tizimi bo‘lib, uni amalga oshirishda xatoni orqaga tarqatish usuli bilan o‘qitish jarayonida gradientlarning yo‘qolishi yoki haddan tashqari kattalashishi muammosini bartaraf etishga erishilgan. LSTM tarmog‘i odatda «unutish darvozalari» (gates) deb ataladigan rekurrent boshqaruv mexanizmlari yordamida boshqariladi. Xatolar vaqt bo‘yicha orqaga, deyarli cheklanmagan miqdordagi virtual qatlamlar orqali tarqaladi. Shu tarzda LSTM o‘qitiladi va bunda o‘tmishdagi minglab, hatto millionlab vaqt oraliqlari haqidagi ma’lumotlar xotirada saqlanadi. LSTM turidagi tarmoqlarning topologiyasi jarayon xususiyatlariga mos ravishda rivojlantirilishi mumkin. LSTM tarmog‘i muhim hodisalar orasidagi uzoq kechikishlarni ham hisobga oladi, shu tufayli yuqori va past chastotali komponentlarni birlashtirish mumkin.

Ko‘plab rekurrent tarmoqlar LSTM’ga xos ma’lumotlar steklaridan foydalanadi. Tarmoqlar «bog‘lanishlarga asoslangan vaqt bo‘yicha tasniflash (CTC)» (ingl. Connectionist Temporal Classification) yordamida shunday vaznlar matritsasini topishga o‘qitilishi mumkinki, unda tegishli kirish oqimi uchun namunalar to‘plamidagi belgilar ketma-ketligining ehtimolligi maksimal bo‘ladi. CTC ham tartiblash, ham tanib olish imkonini beradi.

LSTM avvalgi, yashirin Markov modeliga (HMM) va shunga o‘xshash g‘oyalarga asoslangan modellardan farqli ravishda kontekstga bog‘liq tillarni tanib olish uchun ham o‘qitilishi mumkin.

Ikkinchi tartibli rekurrent tarmoqlar

Ikkinchi tartibli rekurrent tarmoqlarda yuqori tartibli vaznlar wijk odatiy vaznlar wij o‘rnida qo‘llanadi; bunda kirish va holat parametrlari ko‘paytma ko‘rinishida olinishi mumkin. Bu holda tarmoq akslantirish (mapping) orqali chekli avtomatga aylantiriladi. Bu o‘qitish, barqarorlashish va ifodalash jarayonlarida sodir bo‘ladi. Uzoq va qisqa muddatli xotira esa bu holatda bunday o‘zgartirish va barqarorlikni tekshirish xususiyatiga ega emas.

Boshqariladigan rekurrent blok

Boshqariladigan rekurrent blok (ingl. Gated recurrent unit; GRU) — 2014-yilda taklif etilgan rekurrent tarmoqni boshqarish mexanizmi. Nutq signali yoki ko‘p ovozli musiqani modellashtirishda GRU samaradorligi uzoq va qisqa muddatli xotira (LSTM) samaradorligi bilan taqqoslanadigan darajada bo‘lgan. Ushbu modelda parametrlar LSTM’ga qaraganda kamroq va chiqishni boshqarish mexanizmi mavjud emas.

Adabiyotlar

  • Jordan, M. I. Ketma-ketlik tartibi: parallel taqsimlangan qayta ishlash yondashuvi (Serial order: A parallel distributed processing approach) // Kognitiv fanlar instituti hisoboti, 8604. — Kaliforniya universiteti, San-Diyego, 1986.