Sun’iy neyron nima

Sun’iy neyron sxemasi: 1 — chiqish signallari ushbu neyronning kirishiga uzatiladigan neyronlar; 2 — kirish signallari yig‘indisini hisoblovchi jamlagich; 3 — uzatish funksiyasini hisoblovchi blok; 4 — ushbu neyronning chiqish signali kirishlariga uzatiladigan neyronlar; 5 — wi — vazn qiymatlari kirish signallariga tegishli

Sun’iy neyron (matematik neyron Mak-Kallok — Pitts, formal neyron) — sun’iy neyron tarmog‘ining tuguni bo‘lib, tabiiy neyronning soddalashtirilgan modelidir. Matematik jihatdan sun’iy neyron odatda yagona argumenti barcha kirish signallarining chiziqli kombinatsiyasidan iborat bo‘lgan nochiziqli funksiya sifatida ifodalanadi. Bu funksiyani faollashtirish funksiyasi yoki ishga tushish funksiyasi, uzatish funksiyasi. Olingan natija yagona chiqishga uzatiladi. Bunday sun’iy neyronlar tarmoqlarga birlashtiriladi — bir neyronning chiqishi boshqa neyronlarning kirishlariga ulanadi. Sun’iy neyronlar va ularning tarmoqlari ideal neyrokompyuterning asosiy elementlari hisoblanadi.

Biologik prototip

Biologik neyron diametri 3 dan 100 mkm gacha bo‘lgan tanadan iborat. Uning tarkibida yadro (ko‘plab yadro teshiklariga ega) va boshqa organoidlar (jumladan, yaxshi rivojlangan donador endoplazmatik to‘r (EPR) va undagi faol ribosomalar, hamda Golji apparati), shuningdek, o‘simtalar mavjud. O‘simtalarning ikki turi farqlanadi. Akson — odatda neyron tanasidan qo‘zg‘alishni o‘tkazishga moslashgan uzun o‘simta. Dendritlar — odatda qisqa va kuchli tarmoqlangan o‘simtalar bo‘lib, neyron faoliyatiga ta’sir qiluvchi qo‘zg‘atuvchi va tormozlovchi sinapslar asosan shu joyda hosil bo‘ladi (turli neyronlarda akson va dendritlar uzunligining nisbati turlicha). Neyronda bir nechta dendrit va odatda faqat bitta akson bo‘lishi mumkin. Bitta neyron 20 mingtagacha boshqa neyron bilan bog‘lanishi mumkin. Inson bosh miya po‘stlog‘ida taxminan 80 milliard neyron mavjud.

Rivojlanish tarixi

Sun’iy neyronning matematik modeli ilk bor taklif etilgan: U. Mak-Kallok va U. Pitts; ular ushbu neyronlardan tashkil topgan tarmoq modelini ham taklif qilgan. Mualliflar bunday elementlardan tuzilgan tarmoq sonli va mantiqiy amallarni bajarishi mumkinligini ko‘rsatgan. Amalda tarmoq Frenk Rozenblatt tomonidan 1958 yilda dastlab kompyuter dasturi, keyinchalik esa elektron qurilma sifatida amalga oshirilgan — perseptron deb atalgan. Dastlab neyron faqat mantiqiy nol va mantiqiy bir signallari bilan ishlay olgan, chunki u faqat ikki holatda — qo‘zg‘algan yoki qo‘zg‘almagan holatda bo‘lishi mumkin bo‘lgan biologik prototip asosida yaratilgan. Neyron tarmoqlarining rivojlanishi ularni qo‘llash sohasini kengaytirish uchun neyron nafaqat ikkilik, balki uzluksiz (analog) signallar bilan ham ishlashi zarurligini ko‘rsatdi. Neyron modelini bunday umumlashtirishni Uidrou va Hoff amalga oshirib, neyronning ishga tushish funksiyasi sifatida logistik egri chiziqdan foydalanishni taklif qilgan.

Sun’iy neyronlar orasidagi bog‘lanishlar

Bir neyronning chiqish signallari boshqa neyronlarning kirishlariga uzatiladigan bog‘lanishlar biologik neyronlar orasidagi bog‘lanishlarga qiyosan ko‘pincha sinapslar deb ataladi. Har bir bog‘lanish o‘ziga xos vazn. Musbat vaznga ega bog‘lanishlar qo‘zg‘atuvchi, manfiy vaznga ega bog‘lanishlar esa tormozlovchi deb ataladi. Neyronning bitta chiqishi bor, u biologik prototipga qiyosan ko‘pincha akson deb ataladi. Neyronning yagona chiqishidan signal boshqa neyronlarning istalgan sondagi kirishlariga uzatilishi mumkin.

Matematik model

Matematik jihatdan neyron vaznli summator bo‘lib, uning yagona chiqishi kirishlari va vaznlar matritsasi orqali quyidagicha aniqlanadi:

y=f(u), bu yerda u=∑i=1nwixi+w0x0

Bu yerda xi va wi — mos ravishda neyron kirishlaridagi signallar va kirishlarning vaznlari, u funksiyasi induksiyalangan lokal maydon deb ataladi, f(u) esa uzatish funksiyasidir. Neyron kirishlaridagi signallarning mumkin bo‘lgan qiymatlari [0,1] oralig‘ida berilgan deb hisoblanadi. Ular diskret (0 yoki 1) yoki analog bo‘lishi mumkin. Qo‘shimcha kirish x0 va unga mos vazn w0 neyronni boshlang‘ich sozlash uchun ishlatiladi. Neyronni boshlang‘ich sozlash deganda uning faollashtirish funksiyasini gorizontal o‘q bo‘ylab siljitish, ya’ni neyronning sezgirlik chegarasini shakllantirish tushuniladi. Bundan tashqari, ba’zan neyron chiqishiga maxsus ravishda siljish deb ataladigan tasodifiy kattalik qo‘shiladi. Siljishni qo‘shimcha, doimo yuklangan sinapsdagi signal sifatida qarash mumkin.

Neyronning uzatish funksiyasi

Uzatish funksiyasi f(u) neyron chiqishidagi signalning uning kirish signallari vaznlangan yig‘indisiga bog‘liqligini belgilaydi. Ko‘p hollarda u monoton o‘suvchi bo‘lib, qiymatlar sohasi [−1,1] yoki [0,1], biroq bundan mustasno holatlar ham mavjud. Shuningdek, tarmoqni o‘qitishning ayrim algoritmlari uchun funksiya butun sonlar o‘qida uzluksiz differensiallanuvchi bo‘lishi kerak. Sun’iy neyron o‘zining uzatish funksiyasi bilan to‘liq tavsiflanadi. Turli uzatish funksiyalaridan foydalanish neyronning va umuman neyron tarmog‘ining ishlashiga nochiziqlilik kiritish imkonini beradi.

Neyronlar tasnifi

Neyronlar, asosan, tarmoq topologiyasidagi o‘rniga ko‘ra tasniflanadi. Quyidagi turlar farqlanadi:

  • Kirish neyronlari — kirish signalini kodlovchi boshlang‘ich vektorni qabul qiladi. Odatda, bu neyronlar hisoblash amallarini bajarmaydi, balki olingan kirish signalini, ehtimol uni kuchaytirgan yoki susaytirgan holda, shunchaki chiqishga uzatadi;
  • Chiqish neyronlari — tarmoqning chiqishlarini ifodalaydi. Chiqish neyronlarida ayrim hisoblash amallari bajarilishi mumkin;
  • Oraliq neyronlar — asosiy hisoblash amallarini bajaradi.

Uzatish funksiyalarining asosiy turlari

To‘yinishga ega chiziqli faollashtirish funksiyasi

Chiziqli uzatish funksiyasi

Neyron chiqishidagi signal uning kirishidagi signallarning vaznlangan yig‘indisi bilan chiziqli bog‘langan.

f(x)=tx,

, bu yerda t — funksiyaning parametri. qatlamli neyron tarmoqlarida bunday turdagi uzatish funksiyasiga ega neyronlar, odatda, kirish qatlamini tashkil qiladi. Oddiy chiziqli funksiyadan tashqari, uning modifikatsiyalaridan ham foydalanish mumkin. Masalan, yarim chiziqli funksiya (argumenti noldan kichik bo‘lsa, nolga teng bo‘ladi, qolgan hollarda esa chiziqli funksiya kabi ishlaydi) yoki pog‘onali funksiya (to‘yinishli chiziqli funksiya) quyidagi formula bilan ifodalanishi mumkin:

f(x)={0if x≤01if x≥1xelse

Bunda funksiyani har ikkala o‘q bo‘ylab siljitish mumkin (rasmda ko‘rsatilganidek).

Pog‘onali va yarim chiziqli faollashtirish funksiyalarining chiziqli funksiyaga nisbatan kamchiligi shundaki, ular butun haqiqiy sonlar o‘qida differensiallanuvchi emas, shu sababli ayrim algoritmlar bo‘yicha o‘qitishda ulardan foydalanib bo‘lmaydi.

Chegaraviy faollashtirish funksiyasi

Chegaraviy uzatish funksiyasi

Boshqa nomi — Xevisayd funksiyasi. U pog‘onali sakrash ko‘rinishiga ega. Neyron kirishidagi vaznlangan signal ma’lum bir darajaga T yetmaguncha, chiqish signali nolga teng bo‘ladi. Neyron kirishidagi signal ko‘rsatilgan darajadan oshishi bilan chiqish signali keskin ravishda birga o‘zgaradi. Qatlamli neyron tarmoqlarining eng dastlabki vakili —  — perseptron faqat shu turdagi neyronlardan tashkil topgan. Bu funksiyaning matematik ifodasi quyidagicha:

f(x)={1if x≥T0else

Bu yerda T=−w0x0 — faollashtirish funksiyasining gorizontal o‘qqa nisbatan siljishi; shunga ko‘ra, x kattaligi deganda ushbu qo‘shiluvchi hisobga olinmagan holda neyron kirishlaridagi signallarning vaznlangan yig‘indisi tushuniladi. Bu funksiya butun haqiqiy sonlar o‘qida differensiallanuvchi bo‘lmagani sababli, uni xatolikni teskari tarqatish algoritmi va uzatish funksiyasining differensiallanuvchanligini talab qiladigan boshqa algoritmlar asosida o‘qitiladigan tarmoqlarda qo‘llab bo‘lmaydi.

Sigmoidal faollashtirish funksiyasi

Sigmoidal uzatish funksiyasi

Hozirgi vaqtda eng ko‘p qo‘llaniladigan uzatish funksiyalari turlaridan biri. Sigmoidal turdagi funksiyalar neyronlarni chegaraviy faollashtirish funksiyasiga ega tarmoqlarning cheklanganligi sababli joriy etilgan: bunday faollashtirish funksiyasida tarmoq chiqishlarining har biri faqat nol yoki birga teng bo‘ladi, bu esa tarmoqlardan tasniflash vazifalaridan boshqa masalalarda foydalanishni cheklaydi. Sigmoidal funksiyalardan foydalanish neyronning ikkilik chiqishlaridan analog chiqishlarga o‘tish imkonini berdi. Bunday turdagi uzatish funksiyalari, odatda, neyron tarmog‘ining ichki qatlamlarida joylashgan neyronlarga xos.

Logistik funksiya

Matematik jihatdan logistik funksiyani quyidagicha ifodalash mumkin:

σ(x)=11+e−tx

Bu yerda t — funksiyaning tikligini belgilovchi parametr. t cheksizlikka intilganda, funksiya chegaraviy funksiyaga aylanadi. t=0 sigmoida 0,5 qiymatiga teng o‘zgarmas funksiyaga aylanadi. Ushbu funksiyaning qiymatlar sohasi intervalda (0,1) bo‘ladi. Bu funksiyaning muhim afzalligi — hosilasining sodda ifodalanishidir:

dσ(x)dx=tσ(x)(1−σ(x))

Bu funksiyaning hosilasini uning qiymati orqali ifodalash mumkinligi tarmoqni xatolikni teskari tarqatish algoritmi bo‘yicha o‘qitishda undan foydalanishni osonlashtiradi. Bunday uzatish xususiyatiga ega neyronlarning o‘ziga xos jihati shundaki, ular kuchli signallarni kuchsiz signallarga qaraganda ancha kam kuchaytiradi, chunki kuchli signallar sohasiga xarakteristikaning yotiq qismlari mos keladi. Bu katta signallar tufayli to‘yinish yuz berishining oldini olish imkonini beradi.

Giperbolik tangens

Giperbolik tangens funksiyasidan foydalanish

th⁡(Ax)=eAx−e−AxeAx+e−Ax

yuqorida ko‘rib chiqilgan logistik egri chiziqdan uning qiymatlar sohasi (-1;1) intervalda joylashishi bilan farq qiladi. Quyidagi munosabat to‘g‘ri bo‘lgani uchun

th⁡(t2x)=2σ(x)−1,

ikkala grafik faqat o‘qlar masshtabi bilan farq qiladi. Giperbolik tangensning hosilasi ham, tabiiyki, uning qiymatining kvadratik funksiyasi orqali ifodalanadi; to‘yinishga qarshi turish xususiyati bunda ham xuddi shunday saqlanadi.

Modifikatsiyalangan giperbolik tangens

Modifikatsiyalangan giperbolik tangens funksiyasidan foydalanish

mth⁡x=ex−e−xeax+e−bx,(a,b>1),

uni ordinatalar o‘qi bo‘ylab [-1;1] intervalgacha masshtablash orqali sigmoidal funksiyalar oilasini hosil qilish imkonini beradi.

Radial-bazisli uzatish funksiyasi

Radial-bazisli uzatish funksiyasi (RBF) argument sifatida kirish vektori bilan faollashtirish funksiyasining oldindan belgilangan markazi orasidagi masofani qabul qiladi. Kirish vektori markazga qanchalik yaqin bo‘lsa, funksiya qiymati shunchalik yuqori bo‘ladi. Radial-bazisli funksiya sifatida, masalan, Gauss funksiyasidan:

y=exp⁡(−(S−R)22σ2).

Bu yerda S=||𝐗−𝐂|| — markaz 𝐂 va kirish signallari vektori 𝐗 orasidagi masofa. Skalyar parametr σ funksiyaning vektor markazdan uzoqlashgan sari pasayish tezligini belgilaydi va oyna kengligi deb ataladi; R parametri faollashtirish funksiyasining abssissalar o‘qi bo‘ylab siljishini belgilaydi. Bunday funksiyalardan foydalanadigan neyronlarga ega tarmoqlar RBF-tarmoqlar deb ataladi. Vektorlar orasidagi masofa sifatida turli metrikalardan foydalanish mumkin; odatda, Yevklid masofasi qo‘llaniladi:

S=∑j=1N(xj−cj)2.

Bu yerda xj — j-komponenta neyron kirishiga berilgan vektorga tegishli, cj — j-komponenta esa uzatish funksiyasi markazining o‘rnini belgilovchi vektorga tegishli. Shunga ko‘ra, bunday neyronlarga ega tarmoqlar ehtimollik va regressiya tarmoqlari deb ataladi..

Real tarmoqlarda bu neyronlarning faollashtirish funksiyasi qandaydir tasodifiy kattalikning ehtimollik taqsimotini aks ettirishi mumkin yoki kattaliklar orasidagi qandaydir evristik bog‘liqliklarni ifodalashi mumkin.

Boshqa uzatish funksiyalari

Yuqorida sanab o‘tilgan funksiyalar hozirda qo‘llanilayotgan uzatish funksiyalarining faqat bir qismini tashkil etadi. Boshqa uzatish funksiyalariga quyidagilar kiradi:

Stoxastik neyron

Yuqorida sun’iy neyronning deterministik modeli bayon qilindi, ya’ni neyron chiqishidagi holat kirish signallari yig‘indisini hisoblash natijasi bilan bir qiymatli aniqlanadi. Shuningdek, stoxastik neyronlar ham ko‘rib chiqiladi. Ularda neyronning holati o‘zgarishi induksiyalangan lokal maydonga bog‘liq ehtimollik bilan sodir bo‘ladi, ya’ni uzatish funksiyasi quyidagicha aniqlanadi:

f(u)={1с вероятностьюP(u)0с вероятностью1−P(u),

bu yerda ehtimollik taqsimoti P(u) odatda sigmoida ko‘rinishiga ega bo‘ladi:

σ(u)=A(T)1+exp⁡(−u/T),

a normallash konstantasi A(T) ehtimollik taqsimotini normallash sharti bajarilishi uchun kiritiladi∫01σ(u)du=1. Shunday qilib, neyron ehtimollik bilan faollashadiP(u). Parametr T — haroratga o‘xshash kattalik (ammo neyronning harorati emas) bo‘lib, neyron tarmog‘idagi tartibsizlik darajasini belgilaydi. Agar T ni 0 ga intiltirsak, stoxastik neyron Xevisayd uzatish funksiyasiga (chegaraviy funksiyaga) ega oddiy neyronga aylanadi.

Formal mantiqiy funksiyalarni modellashtirish

Chegaraviy uzatish funksiyasiga ega neyron turli mantiqiy funksiyalarni modellashtira oladi.

f(u)={1if u⩾T0else, bu yerda u=∑i=1nwixi+0

Jadvallarda kirish signallarining vaznlari va sezgirlik chegarasini belgilash orqali neyronni kirish signallari ustida kon’yunksiya (mantiqiy «VA») va diz’yunksiya (mantiqiy «YOKI») amallarini, shuningdek, mantiqiy inkor amalini bajarishga qanday sozlash mumkinligi ko‘rsatilgan. Ushbu uchta amal istalgan sondagi argumentlarga ega mutlaqo har qanday mantiqiy funksiyani modellashtirish uchun yetarli.

EMAS T -1,0
w -1,5
x 0 1
f 1 0
VA T 1,5
w1 1,0
w2 1,0
x1 0 0 1 1
x2 0 1 0 1
f 0 0 0 1
YOKI T 0,5
w1 1,0
w2 1,0
x1 0 0 1 1
x2 0 1 0 1
f 0 1 1 1

Adabiyotlar

  • V.A. Terehov, D.V. Yefimov, I.Yu. Tyukin Neyron tarmoqlari asosidagi boshqaruv tizimlari. — 1-nashr. — Vysshaya shkola, 2002. — B. 184. — ISBN 5-06-004094-1.
  • V.V. Kruglov, V.V. Borisov Sun’iy neyron tarmoqlari. Nazariya va amaliyot. — 1-nashr. — M.: Goryachaya liniya — Telekom, 2001. — B. 382. — ISBN 5-93517-031-0.
  • R. Kallan Neyron tarmoqlarining asosiy konsepsiyalari = Neyron tarmoqlarining mohiyati. Birinchi nashr (The Essence of Neural Networks, First Edition). — 1-nashr. — «Vilyams», 2001. — B. 288. — ISBN 5-8459-0210-X.
  • L.N. Yasnitskiy Sun’iy intellektga kirish. — 1-nashr. — «Akademiya» nashriyot markazi, 2005. — B. 176. — ISBN 5-7695-1958-4.
  • L.G. Komartsova, A.V. Maksimov Neyrokompyuterlar. — 1-nashr. — N.E. Bauman nomidagi Moskva davlat texnika universiteti nashriyoti, 2002. — B. 320. — ISBN 5-7038-1908-3.
  • A.V. Saveliev Ko‘p protsessorli neyron konsepsiyasi // Sun’iy intellekt. Intellektual va ko‘p protsessorli tizimlar. — Donetsk–Taganrog–Minsk, 2006. — B. 293—300.
  • A.V. Saveliev Ixtirolardagi neyrokompyuterlar // jurnal «Neyrokompyuterlar: ishlab chiqish va qo‘llash»., «Radiotexnika» nashriyoti. — Moskva, 2004. — № 2—3. — B. 33—49.
  • Lakhmi C. Jain; N.M. Martin. Neyron tarmoqlari, noaniq tizimlar va genetik algoritmlarni birlashtirish: sanoatdagi qo‘llanmalar (Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications). — CRC Press, CRC Press LLC, 1998
  • V.V. Yemelyanov, V.V. Kureychik, V.N. Kureychik. Evolyutsion modellashtirish nazariyasi va amaliyoti. — M.: Fizmatlit, 2003.

Havolalar