Konvolyutsion neyron tarmoq

Konvolyutsiya jarayonining 3D animatsiyasi. Yadrodagi qiymatlarni bir-biridan mustaqil ravishda ajratib olish mumkin. Kirish ma’lumotlarining chekka sohalarini to‘ldirish uchun turli yondashuvlar qo‘llanadi

Konvolyutsion neyron tarmog‘i (KNT, ingl. convolutional neural network, CNN) — sun’iy neyron tarmoqlarining maxsus arxitekturasi bo‘lib, uni Yan Lekun 1988-yilda taklif qilgan. U samarali obrazlarni tanib olishga mo‘ljallangan va chuqur o‘qitish texnologiyalariga kiradi. U ko‘rish po‘stlog‘ining ayrim xususiyatlaridan foydalanadi. Unda turli burchak ostidagi to‘g‘ri chiziqlarga javob beruvchi oddiy hujayralar va muayyan oddiy hujayralar to‘plami faollashganda javob qaytaradigan murakkab hujayralar aniqlangan. Shunday qilib, konvolyutsion neyron tarmoqlari g‘oyasi konvolyutsion qatlamlar bilan subdiskretlash (tanlab qisqartirish) qatlamlarini navbatma-navbat joylashtirishga asoslanadi. Tarmoq bir yo‘nalishli (teskari bog‘lanishlarsiz) va mohiyatan ko‘p qatlamli tuzilishga ega. Uni o‘qitishda standart usullardan, ko‘pincha xatoni teskari tarqatish usulidan. Neyronlarning faollashtirish funksiyasi (uzatish funksiyasi) esa tadqiqotchining tanloviga ko‘ra istalgan funksiya bo‘lishi mumkin.

Tarmoq arxitekturasi o‘z nomini konvolyutsiya amalidan olgan. Bu amalning mohiyati shundaki, tasvirning har bir bo‘lagi konvolyutsiya matritsasi (yadrosi) bilan elementma-element ko‘paytiriladi, hosil bo‘lgan natijalar yig‘iladi va chiqish tasvirining mos joyiga yoziladi.

Talqin

Konvolyutsion neyron tarmog‘ining ishlashi odatda tasvirdagi aniq xususiyatlardan tobora mavhumroq belgilarga, so‘ngra yuqori darajadagi tushunchalarni ajratib olishgacha bo‘lgan o‘tish sifatida talqin qilinadi. Bunda tarmoq o‘zini o‘zi sozlaydi va muhim bo‘lmagan tafsilotlarni filtrlab, ahamiyatli belgilarni ajratib olgan holda mavhum belgilar iyerarxiyasini (belgilar xaritalari ketma-ketligini) mustaqil shakllantiradi.

Bunday talqin ko‘proq metaforik yoki tasviriy xususiyatga ega. Aslida murakkab tarmoq shakllantiradigan «belgilar» shunchalik tushunarsiz va talqin qilish uchun qiyinki, amaliyotda ularning mohiyatini tushunishga, ayniqsa ularni «tuzatishga» ham urinilmaydi. Buning o‘rniga tanib olish natijalarini yaxshilash uchun tarmoqning tuzilishi va arxitekturasi o‘zgartiriladi. Masalan, tizim ayrim muhim hodisalarni e’tibordan chetda qoldirsa, bu o‘qitish uchun ma’lumotlar yetishmasligini yoki tarmoq tuzilishida kamchiliklar borligini va tizim ushbu hodisalar uchun samarali belgilarni shakllantira olmasligini ko‘rsatishi mumkin.

Arxitekturasi va ishlash prinsipi

Konvolyutsion neyron tarmog‘ining arxitekturasi
Konvolyutsion neyron tarmog‘ining odatiy arxitekturasi

Oddiy perseptronda, ya’ni to‘liq bog‘langan neyron tarmog‘ida har bir neyron oldingi qatlamdagi barcha neyronlar bilan bog‘langan bo‘ladi va har bir bog‘lanishning o‘ziga xos vazn koeffitsiyenti mavjud. Konvolyutsion neyron tarmog‘ida esa konvolyutsiya amalida faqat kichik o‘lchamli, cheklangan vaznlar matritsasi qo‘llanadi. U qayta ishlanayotgan qatlam bo‘ylab (dastlab bevosita kirish tasviri bo‘ylab) «siljitiladi» va har bir siljishdan so‘ng keyingi qatlamdagi mos joylashgan neyron uchun faollashuv signali hosil qilinadi. Demak, chiqish qatlamidagi turli neyronlar uchun ayni bir vaznlar matritsasi ishlatiladi. Bu matritsa konvolyutsiya yadrosi deb ham ataladi. Uni ma’lum bir belgining, masalan, muayyan burchak ostidagi qiya chiziq mavjudligining grafik kodlanishi sifatida talqin qilish mumkin. Bunday vaznlar matritsasi bilan bajarilgan konvolyutsiya natijasida hosil bo‘lgan keyingi qatlam qayta ishlanayotgan qatlamda ushbu belgi borligini va uning koordinatalarini ko‘rsatadi hamda belgilar xaritasi deb ataladigan tasvirni shakllantiradi. Tabiiyki, konvolyutsion neyron tarmog‘ida vaznlar to‘plami bitta emas, balki tasvir elementlarini (masalan, turli burchak ostidagi chiziqlar va yoylarni) kodlaydigan ko‘plab to‘plamlardan iborat bo‘ladi. Konvolyutsiya yadrolari tadqiqotchi tomonidan oldindan belgilanmaydi, balki tarmoqni klassik xatoni teskari tarqatish usuli yordamida o‘qitish jarayonida mustaqil shakllanadi. Har bir vaznlar to‘plamining qo‘llanishi o‘z belgilar xaritasini hosil qiladi va neyron tarmog‘ini ko‘p kanalli qiladi (bir qatlamda ko‘plab mustaqil belgilar xaritalari bo‘ladi). Qatlam bo‘ylab vaznlar matritsasi harakatlantirilganda u odatda to‘liq qadamga (matritsaning o‘z o‘lchamiga) emas, balki kichikroq masofaga siljitiladi. Masalan, vaznlar matritsasi 5×5 o‘lchamli bo‘lsa, qidirilayotgan belgini «o‘tkazib yubormaslik» uchun u beshta emas, bitta yoki ikkita neyron (piksel) masofasiga siljitiladi.

Subdiskretlash amali («tanlab olish» yoki «birlashtirish» amali deb ham ataladi) hosil qilingan belgilar xaritalarining o‘lchamini kichraytiradi. Tarmoqning ushbu arxitekturasida belgi mavjudligining o‘zi uning aniq koordinatalarini bilishdan muhimroq deb hisoblanadi. Shu sababli belgilar xaritasidagi bir nechta qo‘shni neyron orasidan eng katta qiymatga ega neyron tanlanib, o‘lchami kichraytirilgan zichroq belgilar xaritasidagi bitta neyron sifatida qabul qilinadi. Bu amal keyingi hisoblashlarni tezlashtirish bilan birga tarmoqni kirish tasviri masshtabining o‘zgarishiga nisbatan barqarorroq qiladi.

Odatiy tarmoq ko‘plab qatlamlardan tashkil topadi. Boshlang‘ich qatlamdan (kirish tasviridan) so‘ng signal konvolyutsiya va subdiskretlash («puling») amallari navbatlashadigan konvolyutsion qatlamlar ketma-ketligidan o‘tadi. Qatlamlarning bunday ketma-ketligi belgilar xaritalarini yaratish imkonini beradi: keyingi har bir qatlamda xarita kichrayadi, ammo kanallar soni ortadi. Amalda bu murakkab belgilar iyerarxiyasini tanib olish qobiliyatini anglatadi. Odatda bir nechta qatlamdan o‘tgach, belgilar xaritasi vektorga yoki hatto skalyarga aylanadi, biroq bunday xaritalar yuzlab bo‘ladi. Tarmoqning konvolyutsion qatlamlaridan keyin yana bir nechta to‘liq bog‘langan neyron tarmoq (perseptron) qatlamlari joylashtiriladi va ularga yakuniy belgilar xaritalari uzatiladi.

Konvolyutsion qatlam

Bir nechta chiqish kanali bo‘yicha o‘zgartiriladigan konvolyutsion qatlam neyronlari

Konvolyutsion qatlam — konvolyutsion neyron tarmog‘ining asosiy tarkibiy qismidir. Bu qatlamda har bir kanal uchun alohida filtr mavjud bo‘lib, uning konvolyutsiya yadrosi oldingi qatlamni bo‘lakma-bo‘lak qayta ishlaydi (har bir bo‘lakdagi elementma-element ko‘paytmalar natijalari yig‘iladi). Kichik matritsa bo‘lgan konvolyutsiya yadrosining vazn koeffitsiyentlari oldindan noma’lum bo‘ladi va o‘qitish jarayonida aniqlanadi.

Konvolyutsion qatlamning o‘ziga xos xususiyati — o‘qitish jarayonida aniqlanadigan parametrlar sonining nisbatan kamligidir. Masalan, boshlang‘ich tasvir uchta kanal bo‘yicha 100×100 piksel o‘lchamga ega bo‘lsa (bu 30 000 ta kirish neyronini anglatadi) va konvolyutsion qatlamda yadrosi 3×3 piksel va chiqish kanallari soni 6 ta bo‘lgan filtrlar ishlatilsa, o‘qitish jarayonida bitta yadro uchun atigi 9 ta vazn aniqlanadi. Biroq kanallarning barcha kombinatsiyalari hisobga olinganda ularning umumiy soni 9×3×6=162 bo‘ladi. Shunday qilib, ushbu qatlam uchun atigi 162 ta parametrni aniqlash talab etiladi, bu esa to‘liq bog‘langan neyron tarmog‘idagi aniqlanishi kerak bo‘lgan parametrlar sonidan ancha kam.

Faollashtirish qatlami

Har bir konvolyutsiya natijasida olingan skalyar qiymat faollashtirish funksiyasiga uzatiladi. Bu muayyan nochiziqli funksiyadir. Faollashtirish qatlami odatda mantiqan konvolyutsion qatlam bilan birlashtiriladi (ya’ni faollashtirish funksiyasi konvolyutsion qatlamga kiritilgan deb hisoblanadi). Tadqiqotchi nochiziqli funksiyani o‘zi tanlashi mumkin. An’anaviy ravishda buning uchun giperbolik tangens (f(x)=tanh⁡(x), f(x)=|tanh⁡(x)|) yoki sigmoida (f(x)=(1+e−x)−1). Biroq 2000-yillarda ReLU (ingl. rectified linear unit — «to‘g‘rilangan chiziqli blok» iborasining qisqartmasi) deb ataladigan yangi faollashtirish funksiyasi taklif qilinib, o‘rganildi. U o‘qitishni sezilarli tezlashtirish bilan birga hisoblashlarni soddalashtirish imkonini berdi. ReLU formulasi quyidagicha: f(x)=max⁡(0,x), ya’ni bu amal mohiyatan skalyar miqdorning manfiy qismini kesib tashlashdan iborat. 2017-yil holatiga ko‘ra ushbu funksiya va uning modifikatsiyalari (Noisy ReLU, Leaky ReLU va boshqalar) chuqur neyron tarmoqlarida, xususan, konvolyutsion tarmoqlarda eng ko‘p ishlatiladigan faollashtirish funksiyalari hisoblanadi. To‘g‘rilangan chiziqli bloklarning optimal sonini aniqlash usuli ham mavjud.

Subdiskretlash qatlami

Maksimum funksiyasi va qadami 2 bo‘lgan 2×2 filtr yordamida subdiskretlash

Subdiskretlash (boshqacha aytganda, tanlab olish yoki «puling») qatlami belgilar xaritasini nochiziqli tarzda ixchamlaydi. Bunda piksellar guruhi (odatda 2×2 o‘lchamdagi) nochiziqli o‘zgartirishdan o‘tib, bitta pikselga birlashtiriladi. Bu jarayonda eng ko‘p maksimum funksiyasidan foydalaniladi. O‘zgartirishlar bir-biri bilan kesishmaydigan to‘rtburchak yoki kvadrat sohalarda bajariladi. Ularning har biri bitta pikselgacha qisqartiriladi va eng katta qiymatga ega piksel tanlanadi. Subdiskretlash amali tasvirning fazoviy hajmini sezilarli darajada kamaytiradi. Buni quyidagicha tushuntirish mumkin: oldingi konvolyutsiya amalida ayrim belgilar aniqlangan bo‘lsa, keyingi qayta ishlash uchun tasvirning bunday yuqori tafsilotliligi zarur bo‘lmaydi va tasvir ixchamroq ko‘rinishga keltiriladi. Bundan tashqari, ortiqcha tafsilotlarni filtrlash tarmoqning haddan tashqari moslashib ketishining oldini olishga yordam beradi. Subdiskretlash qatlami odatda konvolyutsion qatlamdan keyin, navbatdagi konvolyutsion qatlamdan oldin joylashtiriladi.

Maksimum funksiyasi bilan subdiskretlashdan tashqari, o‘rtacha qiymat yoki L2-me’yorlash kabi boshqa funksiyalardan ham foydalanish mumkin. Biroq amaliyot aynan maksimum funksiyasi bilan subdiskretlashning afzalliklarini ko‘rsatgan va u odatiy tizimlarga kiritilgan.

Hosil qilinadigan ifodalarning o‘lchamini yanada keskin kamaytirish maqsadida kichikroq filtrlardan foydalanish yoki subdiskretlash qatlamlaridan butunlay voz kechish g‘oyalari tobora ko‘proq tarqalmoqda.

To‘liq bog‘langan neyron tarmog‘i

Tasvir bir necha bor konvolyutsiyadan o‘tkazilib, subdiskretlash yordamida ixchamlangach, tizim yuqori aniqlikdagi aniq piksellar to‘ridan mavhumroq belgilar xaritalariga o‘tadi. Odatda har bir keyingi qatlamda kanallar soni ortadi, har bir kanaldagi tasvirning o‘lchami esa kichrayadi. Oxir-oqibat kam miqdordagi ma’lumotni (hatto bitta parametrni) saqlovchi ko‘plab kanallar qoladi. Ular boshlang‘ich tasvirdan ajratib olingan eng mavhum tushunchalar sifatida talqin qilinadi.

Bu ma’lumotlar birlashtirilib, odatiy to‘liq bog‘langan neyron tarmog‘iga uzatiladi. U ham bir nechta qatlamdan iborat bo‘lishi mumkin. Bunda to‘liq bog‘langan qatlamlar piksellarning fazoviy tuzilishini saqlamaydi va ularning o‘lchamlari (boshlang‘ich tasvirdagi piksellar soniga nisbatan) ancha kichik bo‘ladi.

O‘qitish

Tarmoqni o‘qitishning eng sodda va ommabop usuli — o‘qituvchi nazorati ostida o‘qitish (ya’ni belgilangan ma’lumotlar asosida) — xatoni teskari tarqatish usuli va uning modifikatsiyalaridan foydalanishdir. Biroq konvolyutsion tarmoqni o‘qituvchisiz o‘qitishning ham bir qancha usullari mavjud. Masalan, konvolyutsiya filtrlarini o‘quv to‘plamidagi boshlang‘ich tasvirlardan tasodifiy kesib olingan bo‘laklarni ularga berish va o‘qituvchisiz o‘qitishning ma’lum algoritmlaridan birini (masalan, avtoassotsiator yoki hatto k-o‘rtachalar usulini) qo‘llash orqali alohida va mustaqil o‘qitish mumkin. Bunday usul tasvir bo‘laklari asosida o‘qitish (patch-based training) deb ataladi. Shunga mos ravishda tarmoqning keyingi konvolyutsion qatlami avval o‘qitilgan birinchi qatlamdan olingan bo‘laklarda o‘qitiladi. Konvolyutsion neyron tarmog‘ini chuqur o‘qitishning boshqa texnologiyalari bilan ham birlashtirish mumkin. Masalan, konvolyutsion avtoassotsiator, ehtimollik matematik apparati orqali o‘qitiladigan kaskadli cheklangan Boltsman mashinalarining konvolyutsion versiyasini yoki «ochib yoyuvchi» tarmoqlar deb ataladigan siyrak kodlashning konvolyutsion versiyasini yaratish mumkin.

Tarmoq ishini yaxshilash, uning barqarorligini oshirish va haddan tashqari moslashib ketishning oldini olish uchun tasodifiy o‘chirish (dropout) usuli ham qo‘llanadi. Bunda kichik tarmoqni o‘qitish paytida ayrim neyronlar tasodifiy ravishda vaqtincha chiqarib tashlanadi.

Afzalliklari

  • Tasvirlarni tanib olish va tasniflash bo‘yicha eng yaxshi algoritmlardan biri.
  • To‘liq bog‘langan neyron tarmog‘i (perseptron turi) bilan solishtirganda sozlanadigan vaznlar soni ancha kam. Chunki kirish tasvirining har bir pikseli uchun alohida vazn koeffitsiyentlarini belgilash o‘rniga, bitta vaznlar yadrosi butun tasvir bo‘ylab qo‘llanadi. Bu neyron tarmog‘ini o‘qitish jarayonida taqdim etilgan ma’lumotlarni umumlashtirishga undaydi. Perseptrondagi kabi har bir ko‘rsatilgan tasvirni son-sanoqsiz vazn koeffitsiyentlari orqali pikselma-piksel yodlab olishning hojati qolmaydi.
  • Hisoblashlarni parallel bajarish qulayligi tarmoqni ishlatish va o‘qitish algoritmlarini, jumladan, grafik protsessorlarda amalga oshirish imkonini beradi.
  • Tanib olinayotgan tasvirning aylantirilishi va siljitilishiga nisbatan barqarorlik.
  • Klassik xatoni teskari tarqatish usuli yordamida o‘qitish.

Kamchiliklari

  • Tarmoqning o‘zgartirilishi mumkin bo‘lgan parametrlari juda ko‘p. Muayyan vazifa va hisoblash quvvati uchun qanday sozlamalar kerakligi aniq emas. Bunday parametrlarga quyidagilar kiradi: qatlamlar soni; har bir qatlam uchun konvolyutsiya yadrosining o‘lchami; har bir qatlamdagi yadrolar soni; qatlamni qayta ishlashda yadroning siljish qadami; subdiskretlash qatlamlarining zarurligi; ular o‘lchamni qanchalik kichraytirishi; o‘lchamni kamaytirish funksiyasi (maksimumni, o‘rtacha qiymatni tanlash va hokazo); neyronlarning uzatish funksiyasi; konvolyutsion qatlamlardan keyingi chiqishdagi to‘liq bog‘langan neyron tarmog‘ining mavjudligi va uning parametrlari. Bu parametrlarning barchasi natijaga sezilarli ta’sir qiladi, ammo tadqiqotchilar ularni empirik ravishda tanlaydilar. Puxta sinovdan o‘tgan va juda yaxshi ishlaydigan bir nechta tarmoq konfiguratsiyasi mavjud, biroq yangi vazifa uchun tarmoqni qanday qurish kerakligi yuzasidan tavsiyalar yetishmaydi.

Havolalar