Xatoni orqaga tarqatish algoritmi

Xatoni teskari tarqatish usuli — gradientni hisoblash usuli bo‘lib, u ko‘p qatlamli perseptron vaznlarini yangilashda qo‘llanadi. Ushbu usul ilk bor 1974-yilda Aleksandr Galushkin, shuningdek, undan mustaqil ravishda va bir vaqtda Pol Verbos[ingl.] tomonidan tavsiflangan. Keyinchalik u 1986-yilda Devid Rumelxart, Jeffri Xinton va Ronald Uilyams, shuningdek, ulardan mustaqil ravishda va bir vaqtda Barsev va Oxonin (Krasnoyarsk guruhi) tomonidan sezilarli darajada rivojlantirilgan. Bu iterativ gradient algoritmi bo‘lib, ko‘p qatlamli perseptronning ishlash xatosini kamaytirish va kerakli chiqish natijasini olish uchun qo‘llanadi.

Ushbu usulning asosiy g‘oyasi xato signallarini tarmoq chiqishlaridan uning kirishlariga, ya’ni tarmoq odatiy ishlaganda signallar tarqaladigan yo‘nalishga teskari yo‘nalishda uzatishdan iborat. Barsev va Oxonin kengroq turdagi tizimlarga, jumladan, kechikishli tizimlar, taqsimlangan tizimlar va shularga o‘xshash tizimlarga tatbiq etiladigan umumlashtirilgan usulni («ikkilik tamoyili») taklif qilgan.

Xatoni teskari tarqatish usulini qo‘llash uchun uzatish funksiyasi neyronlar uchun differensiallanuvchi bo‘lishi kerak. Bu usul klassik gradient bo‘ylab pasayish usulining o‘zgartirilgan ko‘rinishidir.

Sigmoidasimon faollashtirish funksiyalari

Ko‘pincha faollashtirish funksiyalari sifatida quyidagi turdagi sigmoidalar qo‘llanadi:

Fermi funksiyasi (eksponensial sigmoida):

f(s)=11+e−2αs

Ratsional sigmoida ( α=0 bo‘lganda u chegaraviy faollashtirish funksiyasi deb ataladigan funksiyaga aylanadi):

f(s)=s|s|+α

Giperbolik tangens:

f(s)=thsα=esα−e−sαesα+e−sα,

bu yerda s — neyron summatorining chiqish qiymati, α — ixtiyoriy konstanta.

Boshqa sigmoidalarga qaraganda ratsional sigmoidani hisoblash protsessorning eng kam vaqtini talab qiladi. Giperbolik tangensni hisoblash esa protsessorning eng ko‘p ish taktlarini talab qiladi. Chegaraviy faollashtirish funksiyalari bilan solishtirilganda, sigmoidalar juda sekin hisoblanadi. Chegaraviy funksiyada yig‘indi hisoblangach, darhol uni muayyan qiymat (chegara) bilan solishtirish mumkin. Sigmoidasimon faollashtirish funksiyasida esa avval sigmoidani hisoblash kerak (eng yaxshi holatda buning uchun uchta amal — modulni olish, qo‘shish va bo‘lish bajariladi), shundan keyingina uni chegaraviy qiymat (masalan, nol) bilan solishtirish mumkin. Agar barcha eng sodda amallarni protsessor taxminan bir xil vaqtda bajaradi deb hisoblasak, yig‘indi hisoblanganidan keyin (bu ikkala holatda ham bir xil vaqt oladi) sigmoidasimon faollashtirish funksiyasi chegaraviy faollashtirish funksiyasiga nisbatan 4 baravar sekin ishlaydi.

Tarmoq ishini baholash funksiyasi

Tarmoq ishini baholash mumkin bo‘lgan hollarda neyron tarmoqlarni o‘qitishni optimallashtirish masalasi sifatida ifodalash mumkin. Baholash deganda tarmoq o‘ziga qo‘yilgan vazifalarni qanchalik yaxshi yoki yomon bajarayotganini miqdoriy ko‘rsatish tushuniladi. Buning uchun baholash funksiyasi tuziladi. U, odatda, tarmoqning chiqish signallariga bevosita, uning barcha parametrlariga esa bilvosita (tarmoqning ishlashi orqali) bog‘liq bo‘ladi. Eng sodda va eng keng tarqalgan baholash misoli — tarmoq chiqish signallari bilan ularning talab etilgan qiymatlari orasidagi farqlar kvadratlarining yig‘indisi:

H=12∑τ∈vout(Z(τ)−Z∗(τ))2,

bu yerda Z∗(τ) — chiqish signalining talab etilgan qiymati.

Eng kichik kvadratlar usuli baholash uchun har doim ham eng yaxshi tanlov emas. Baholash funksiyasini puxta tuzish tarmoqni o‘qitish samaradorligini o‘n baravargacha oshirishi, shuningdek, qo‘shimcha axborot — tarmoq bergan javobga nisbatan «ishonchlilik darajasi»ni olish imkonini beradi.

Algoritm tavsifi

Ko‘p qatlamli perseptron arxitekturasi

Xatoni teskari tarqatish algoritmi ko‘p qatlamli perseptron uchun qo‘llanadi. Tarmoqda kirishlar to‘plami x1,…,xn, Outputs chiqishlar to‘plami va ichki tugunlar to‘plami mavjud. Barcha tugunlarni (kirishlar va chiqishlarni ham qo‘shib) 1 dan N gacha sonlar bilan raqamlaymiz (qatlamlar topologiyasidan qat’i nazar, umumiy ketma-ket raqamlash). wi,j orqali i- va j-tugunlarni birlashtiruvchi qirraning vaznini, oi orqali esa i-tugunning chiqishini belgilaymiz. Agar bizga o‘qitish namunasi (tarmoqning to‘g‘ri javoblari tk, k∈Outputs) ma’lum bo‘lsa, eng kichik kvadratlar usuli yordamida olingan xato funksiyasi quyidagicha bo‘ladi:

E({wi,j})=12∑k∈Outputs(tk−ok)2

Vaznlarni qanday o‘zgartirish kerak? Biz stoxastik gradient bo‘ylab pasayish usulini amalga oshiramiz, ya’ni har bir o‘qitish namunasidan so‘ng vaznlarni tuzatib, shu tariqa vaznlarning ko‘p o‘lchamli fazosida «harakatlanamiz». Xatoning minimumiga «yetib borish» uchun gradientga qarama-qarshi yo‘nalishda «harakatlanishimiz», ya’ni to‘g‘ri javoblarning har bir to‘plamiga asoslanib, har bir vaznga quyidagini qo‘shishimiz kerak:wi,j

Δwi,j=−η∂E∂wi,j,

bu yerda 0<η<1 — «harakat» tezligini belgilovchi koeffitsiyent.

Hosila quyidagicha hisoblanadi. Dastlab j∈Outputs, ya’ni bizni qiziqtirayotgan vazn oxirgi qatlam neyroniga kiradi deb faraz qilamiz. Avvalo, wi,j tarmoqning chiqishiga faqat Sj=∑iwi,jxi yig‘indining tarkibiy qismi sifatida ta’sir qilishini qayd etamiz; bunda yig‘indi j-tugunning kirishlari bo‘yicha olinadi. Shuning uchun:

∂E∂wi,j=∂E∂Sj∂Sj∂wi,j=xi∂E∂Sj

Xuddi shuningdek, Sj umumiy xatoga faqat j-tugunning oj chiqishi orqali ta’sir qiladi (eslatib o‘tamiz, bu butun tarmoqning chiqishidir). Shu sababli:

∂E∂Sj=∂E∂oj∂oj∂Sj=(∂∂oj12∑k∈Outputs(tk−ok)2)(∂f⁡(S)∂S∣S=Sj)=
=(12∂∂oj(tj−oj)2)(oj(1−oj))2α=−2αoj(1−oj)(tj−oj).

bu yerda f(S) — tegishli sigmoida, ushbu holatda eksponensial sigmoida.

∂(11+e−2αS)∂S=−1(1+e−2αS)2×∂(1+e−2αS)∂S=−1(1+e−2αS)2×(−2αe−2αS)=
=2αe−2αS(1+e−2αS)2=(1+e−2αS(1+e−2αS)2−1(1+e−2αS)2)×2α=2α(f⁡(S)−f2⁡(S))

Agar j-tugun oxirgi qatlamda bo‘lmasa, uning chiqish bog‘lanishlari mavjud; ularni Children(j) deb belgilaymiz. Bu holda:

∂E∂Sj=∑k∈Children(j)∂E∂Sk∂Sk∂Sj,

va

∂Sk∂Sj=∂Sk∂oj∂oj∂Sj=wj,k∂oj∂Sj=2αwj,koj(1−oj).

Biroq ∂E∂Sk — aynan shunday tuzatish bo‘lib, u keyingi qatlamdagi tugun uchun hisoblangan. Uni δk bilan belgilaymiz; u Δk dan (−ηxi,j) ko‘paytuvchi mavjud emasligi bilan farq qiladi. Oxirgi qatlam tugunlari uchun tuzatishni hisoblashni va quyi qatlam tuguni uchun tuzatishni yuqori qatlamdagi tuzatishlar orqali ifodalashni o‘rganganimiz sababli endi algoritmni yozishimiz mumkin. Tuzatishlarni hisoblashdagi aynan shu xususiyat tufayli algoritm xatoni teskari tarqatish algoritmi deb ataladi. Bajarilgan ishning qisqacha xulosasi:

  • oxirgi qatlam tuguni uchun

δj=−2αoj(1−oj)(tj−oj)

  • tarmoqning ichki tuguni uchun

δj=2αoj(1−oj)∑k∈Children(j)δkwj,k

  • barcha tugunlar uchun

Δwi,j=−ηδjoi,

bu yerda oi — xi bilan bir xil; u quyidagi hosilani hisoblashda ishlatiladi: ∂E∂wi,j.

Hosil bo‘lgan algoritm quyida keltirilgan. Ko‘rsatilgan parametrlardan tashqari, algoritmga tarmoq tuzilishini ham qandaydir shaklda kirish ma’lumoti sifatida berish zarur. Amalda tuzilishi ancha sodda bo‘lgan, neyronlarning ikki qatlamidan — yashirin qatlam va chiqish neyronlaridan iborat tarmoqlar juda yaxshi natija ko‘rsatadi. Tarmoqning har bir kirishi barcha yashirin neyronlarga ulanadi, har bir yashirin neyron ishining natijasi esa barcha chiqish neyronlarining kirishiga uzatiladi. Bunday holda kirish ma’lumoti sifatida yashirin qatlamdagi neyronlar sonini berish kifoya.

Algoritm

Xatoni teskari tarqatish algoritmi: (η,α,{xid,td}i=1,d=1n,m,steps)

  1. Boshlang‘ich qiymatlar sifatida {wij}i,j uchun kichik tasodifiy sonlarni belgilash, {Δwij}i,j=0
  2. NUMBER_OF_STEPS marta takrorlash:
    . 1 dan m gacha bo‘lgan barcha d lar uchun:
    1. Tarmoq kirishiga {xid} ni berib, barcha tugunlarning oi chiqish qiymatlarini hisoblash.
    2. Barcha k∈Outputs
      δk=−ok(1−ok)(tk−ok).
    3. Oxirgidan oldingi qatlamdan boshlab har bir l qatlam uchun:
      l qatlamdagi har bir j tugun uchun hisoblash:
      δj=oj(1−oj)∑k∈Children(j)δkwj,k.
    4. Tarmoqning har bir {i, j} qirrasi uchun
      Δwi,jn=αΔwi,jn−1+(1−α)ηδjoiParent.
      wi,jn=wi,jn−1−Δwi,jn.
  3. Quyidagi vazn qiymatlarini chiqarish: wij.

bu yerda α — maqsad funksiyasi sirtida harakatlanishda keskin sakrashlarni yumshatish uchun inertsiya koeffitsiyenti.

Алгоритм обучения нейросети
Neyron tarmoqni o‘qitish algoritmi


Алгоритм обучения нейросети, ч.2, пример
Neyron tarmoqni o‘qitish algoritmi, 2-qism, misol

Amalga oshirish rejimlari

Xatoni teskari tarqatish usulini amalga oshirishning ikki rejimi mavjud:

Paketli gradient bo‘ylab pasayishda yo‘qotish funksiyasi epoxa yakunlangach barcha namunalar bo‘yicha birgalikda hisoblanadi, so‘ng neyron vazn koeffitsiyentlariga xatoni teskari tarqatish usuliga muvofiq tuzatishlar kiritiladi.

Stoxastik usul bitta namuna uchun tarmoq chiqishi hisoblanishi bilanoq vazn koeffitsiyentlariga tuzatishlar kiritadi.

Paketli usul tezroq va barqarorroq, biroq u lokal minimumlarda to‘xtab qolishga moyil. Shu sababli lokal minimumlardan chiqish uchun maxsus usullar, masalan, tavlashni taqlid qilish algoritmi.

Stoxastik usul sekinroq, ammo u aniq gradient bo‘ylab pasayishni amalga oshirmasdan, to‘liq hisoblanmagan gradientdan foydalanish orqali «shovqin» kiritgani uchun lokal minimumlardan chiqishga qodir va yaxshiroq natijaga olib kelishi mumkin.

Murosali yechim sifatida mini-paketlardan ham foydalanish tavsiya etiladi. Bunda vaznlar bir nechta namuna (mini-paket) qayta ishlangach tuzatiladi, ya’ni stoxastik pasayishga qaraganda kamroq, paketli pasayishga qaraganda esa ko‘proq amalga oshiriladi.

Neyron tarmoqni o‘qitishning matematik talqini

Xatoni teskari tarqatish algoritmining har bir iteratsiyasida neyron tarmoqning vazn koeffitsiyentlari bitta namunaga oid yechimni yaxshilash uchun o‘zgartiriladi. Shunday qilib, o‘qitish jarayonida bitta mezonli optimallashtirish masalalari davriy ravishda yechiladi.

Neyron tarmoqni o‘qitish umumiy optimallashtirish masalalaridan to‘rtta o‘ziga xos cheklov bilan farqlanadi: parametrlarning nihoyatda ko‘pligi, o‘qitishda yuqori darajadagi parallellik zarurati, yechiladigan masalalarning ko‘p mezonliligi va minimallashtirilayotgan barcha funksiyalar qiymatlari o‘z minimumlariga yaqin bo‘lgan yetarlicha keng sohani topish zarurati. Qolgan jihatlarda o‘qitish muammosini, odatda, baholash funksiyasini minimallashtirish masalasi sifatida ifodalash mumkin. Oldingi gapdagi «odatda» degan ehtiyotkor ifoda shundan kelib chiqadiki, aslida biz neyron tarmoqlar uchun mumkin bo‘lgan barcha masalalarni bilmaymiz va hech qachon bila olmaymiz. Ehtimol, hali noma’lum bo‘lgan masalalar orasida baholashni minimallashtirishga keltirib bo‘lmaydiganlari ham bordir. Baholashni minimallashtirish murakkab masala: parametrlar soni nihoyatda katta ( shaxsiy kompyuter yordamida amalga oshiriladigan odatiy misollarda 100 dan 1 000 000 gacha), moslanuvchi sirtning relyefi (baholash funksiyasining sozlanadigan parametrlarga bog‘liqlik grafigi) murakkab bo‘lib, unda ko‘plab lokal minimumlar mavjud bo‘lishi mumkin.

Algoritmning kamchiliklari

Xatoni teskari tarqatish usuli ko‘plab sohalarda muvaffaqiyatli qo‘llanayotganiga qaramay, u universal yechim emas. Eng katta muammolardan biri — o‘qitish jarayonining noma’lum muddatgacha cho‘zilishi. Murakkab masalalarda tarmoqni o‘qitish bir necha kun, hatto haftalar talab qilishi mumkin; ba’zan esa tarmoqni umuman o‘qitib bo‘lmaydi. Bunga quyida tavsiflangan sabablarning biri olib kelishi mumkin.

Tarmoqning falajlanishi

Tarmoqni o‘qitish jarayonida vaznlar tuzatishlar natijasida juda katta qiymatlarga yetishi mumkin. Bu barcha yoki ko‘pchilik neyronlarning OUT qiymati juda katta bo‘lgan, siquvchi funksiyaning hosilasi esa juda kichik bo‘lgan sohada ishlashiga olib keladi. O‘qitish jarayonida orqaga uzatiladigan xato ushbu hosilaga proporsional bo‘lgani uchun o‘qitish deyarli to‘xtab qolishi mumkin. Nazariy jihatdan bu muammo yetarlicha o‘rganilmagan. Odatda, η qadam kattaligini kamaytirish orqali buning oldi olinadi, biroq bu o‘qitish vaqtini uzaytiradi. Falajlanishdan saqlanish yoki undan keyin tarmoq ishini tiklash uchun turli evristik usullar qo‘llangan, ammo hozircha ular faqat tajribaviy usullar deb qaralishi mumkin.

Lokal minimumlar

Gradient bo‘ylab pasayish usuli global minimumga yetmasdan lokal minimumda to‘xtab qolishi mumkin.

Xatoni teskari tarqatish gradient bo‘ylab pasayish usulining bir turidan foydalanadi, ya’ni vaznlarni minimum tomon uzluksiz sozlab, xato sirtida pastga qarab harakatlanadi. Murakkab tarmoqning xato sirti yuqori o‘lchamli fazoda ko‘plab tepaliklar, vodiylar, burmalar va jarliklardan iborat o‘ta notekis tuzilishga ega. Tarmoq lokal minimumga (sayoz vodiyga) tushib qolishi mumkin, vaholanki, uning yonida ancha chuqurroq minimum mavjud bo‘lishi mumkin. Lokal minimum nuqtasida barcha yo‘nalishlar yuqoriga qarab ketadi va tarmoq undan chiqa olmaydi. Neyron tarmoqlarni o‘qitishdagi asosiy qiyinchilik aynan lokal minimumlardan chiqish usullarini topishdir: har safar lokal minimumdan chiqilgach, yana o‘sha xatoni teskari tarqatish usuli bilan keyingi lokal minimum izlanadi va bu undan chiqish yo‘li topilmay qolguncha davom etadi.

Xato funksiyasining qavariq emasligi va buning natijasida lokal minimumlar hamda tekis sohalar bilan bog‘liq qiyinchiliklar ilgari ushbu usulning kamchiligi deb qaralgan. Biroq Yan Lekun 2015-yildagi sharh maqolasida amaliy nuqtayi nazardan bu hodisalar unchalik xavfli emasligini ta’kidlaydi.

Qadam kattaligi

Agar qadam kattaligi o‘zgarmas va juda kichik bo‘lsa, yaqinlashish juda sekin kechadi. Agar u o‘zgarmas va juda katta bo‘lsa, tarmoq falajlanishi yoki doimiy beqarorlik yuzaga kelishi mumkin. Antigradientning muayyan yo‘nalishida baholash ko‘rsatkichi yaxshilanishdan to‘xtaguncha qadamni kattalashtirish, yaxshilanish kuzatilmasa esa uni kichraytirish samaralidir. P. D. Vasserman o‘qitish jarayonida qadam kattaligini avtomatik ravishda sozlaydigan adaptiv algoritmni tavsiflagan. A. N. Gorbanning kitobida o‘qitishni optimallashtirishning tarmoqlangan texnologiyasi taklif etilgan.

Unga ko‘ra, xatoni teskari tarqatish usuli gradientni tez hisoblash vositasi bo‘lib, keyinchalik bu gradient silliq optimallashtirishning turli algoritmlarida qo‘llanadi. Eng istiqbolli yondashuv sifatida pasayish yo‘nalishini hisoblash uchun kvazi-Nyuton usullaridan (BFGS), shu yo‘nalishda esa bir o‘lchamli optimallashtirishdan birgalikda foydalanish ko‘rsatilgan. Bunday usullarda baholash butun masalalar to‘plami yoki uning kichik to‘plamlari (masalalar to‘plamining «sahifalari», keyinchalik «mini-paketlar» deb atalgan) bo‘yicha hisoblanadi. Hozirda ushbu nuqtayi nazar umumiy qabul qilingan.

Tarmoqning haddan tashqari o‘qitilishi ehtimolini ham qayd etish kerak. Bu, odatda, tarmoq topologiyasining noto‘g‘ri loyihalanishi va/yoki o‘qitishni to‘xtatish mezonining noto‘g‘ri tanlanishi natijasidir. Haddan tashqari o‘qitilganda tarmoq ma’lumotlarni umumlashtirish qobiliyatini yo‘qotadi. O‘qitish uchun taqdim etilgan tasvirlarning butun to‘plamini tarmoq o‘zlashtiradi, biroq boshqa tasvirlarni, hatto juda o‘xshashlarini ham noto‘g‘ri tanishi mumkin.

Adabiyotlar

  • Vasserman F. Neyrokompyuter texnikasi: nazariya va amaliyot. — M.: «Mir», 1992. — [Arxivlangan 30 2009-yil iyun oyida.]
  • Xaykin S. Neyron tarmoqlar: to‘liq kurs. Ingliz tilidan N. N. Kussul va A. Yu. Shelestov tarjimasi. 2-nashr, tuzatilgan. — M.: Vilyams nashriyot uyi, 2008, 1103 bet.

Havolalar