
Neyron tarmog‘i (shuningdek, sun’iy neyron tarmog‘i, SNTyoki oddiygina neyrotarmoq) — matematik modelhamda uning dasturiy yoki apparat vositalaridagi amalga oshirilgan shakli bo‘lib, nerv tarmoqlari (biologik neyron tarmoqlari) — tirik organizmning nerv hujayralari (neyronlari) tarmoqlarining tuzilish tamoyiliga asoslanadi. Bu tushuncha miyadakechadigan jarayonlarni o‘rganish va ularni modellashtirishga urinish natijasida yuzaga kelgan. Shunday dastlabki urinish davomida neyron tarmoqlarini U. Makkalok va U. Pitts 1943-yilda yaratgan. O‘qitish algoritmlari ishlab chiqilgach, yaratilgan modellardan amaliy maqsadlarda: prognozlash masalalarida, obrazlarni tanib olishda, boshqaruv masalalarida va boshqalarda foydalanila boshlandi.
«Neyron tarmog‘i» atamasi hozirgi ma’nosida rus tiliga XX asrning 90-yillarida kirib kelgan. Ilgari SSSRda sun’iy neyronlar tarmoqlari ham, tabiiy neyronlar tarmoqlari ham «nerv tarmoqlari» yoki «neyron tarmoqlari» deb atalgan.
Xususan, hisoblash texnikasi va dasturlashrivojlanishi nuqtayi nazaridan neyron tarmog‘i samarali parallelizm muammosini hal qilish usulidir.
Neyron tarmoqlari dasturlanmaydi , balki o‘qitiladi. O‘rganish qobiliyati neyron tarmoqlarining an’anaviy algoritmlarganisbatan asosiy ustunliklaridan biridir. Texnik jihatdan o‘qitish neyronlar orasidagi bog‘lanish koeffitsiyentlarini aniqlashdan iborat. O‘qitish jarayonida neyron tarmog‘i kirish va chiqish ma’lumotlari o‘rtasidagi murakkab bog‘liqliklarni topishi hamda umumlashtirishniamalga oshirishi mumkin. Bu muvaffaqiyatli o‘qitilgan tarmoq o‘quv tanlanmasida uchramagan ma’lumotlar, shuningdek, to‘liq bo‘lmagan va/yoki «shovqinli», qisman buzilgan ma’lumotlar asosida ham to‘g‘ri natija bera olishini anglatadi.
Xronologiya
- 1943 — U. Makkalok va U. Pitts nerv faoliyati va g‘oyalar mantiqiy hisobi haqidagi asosiy maqolalarida neyron tarmog‘i tushunchasini rasmiylashtiradilar. Pitts bilan hamkorligi boshida N. Viner unga neyron tarmoqlariga ekvivalent qurilmalarni yaratish vositasi sifatida vakuum lampalarini taklif qiladi.
- 1948 — kitob N. Vinerning kibernetika haqidagi kitobi nashr etiladi. Uning asosiy g‘oyasi murakkab biologik jarayonlarni matematik modellar orqali ifodalashdan iborat edi.
- 1949 — D. Hebb birinchi o‘qitish algoritmini taklif qiladi.
- 1958 — F. Rozenblatt bir qatlamli perseptronni ixtiro qiladi va uning tasniflash masalalarini yechish qobiliyatini namoyish etadi. Perseptrondan obrazlarni tanib olish va ob-havoni prognozlashda foydalanilgan. Perseptron ixtiro qilingan paytga kelib Makkalokning nazariy ishlari Viner «kibernetikasi»dan uzil-kesil ajralgan; Makkalok va uning izdoshlari «Kibernetika klubi»dan chiqqan edi.
- 1960 — Bernard Vidrou[ingl.] shogirdi Xoff bilan birgalikda delta-qoida (Vidrou formulasi) asosida Adalinni yaratishdi; u darhol prognozlash va moslashuvchan boshqaruvda ishlatila boshlandi. Adalin Vidrou va Xoff yaratgan yangi elementlarga asoslangan. Ular — memistorlar.
- 1963 — SSSR Fanlar akademiyasining Axborot uzatish muammolari institutida A. P. Petrov perseptron uchun «qiyin» masalalarni tadqiq qiladi. SSSRda sun’iy neyron tarmoqlarini modellashtirish bo‘yicha ushbu ishga M. M. Bongard o‘z tadqiqotida tayanib, «algoritmni (perseptronni) nisbatan ozgina o‘zgartirish orqali uning kamchiliklarini tuzatish» yo‘lini taklif qiladi.
- 1969 — M. Minskiy perseptron imkoniyatlari cheklanganining qat’iy isbotini e’lon qiladi va u tasvirlarning invariantligi bilan bog‘liq ayrim masalalarni («juftlik» va «blokda bittasi» muammolarini) yecha olmasligini ko‘rsatadi.
- 1972 — T. Koxonen va J. Anderson[ingl.] bir-biridan mustaqil ravishda xotira sifatida ishlay oladigan yangi turdagi neyron tarmoqlarini taklif qiladilar.
- 1973 — B. V. Hakimov splaynlarga asoslangan sinapslarga ega nochiziqli modelni taklif etib, uni tibbiyot, geologiya va ekologiya masalalariga tatbiq qiladi.
- 1974 — Pol J. Verbos va A. I. Galushkin bir vaqtda xatoni teskari tarqatish algoritmini ishlab chiqib, shu orqali ko‘p qatlamli perseptronlarni o‘qitishga imkon yaratadilar.
- 1975 — Fukusima[ingl.] o‘zi yaratgan kognitronni — obrazlarni invariant tarzda tanib olishgamo‘ljallangan o‘zini o‘zi tashkil etuvchi tarmoq sifatida taqdim etadi. Biroq bunga faqat obrazning deyarli barcha holatlarini yodlab qolish orqali erishiladi.
- 1982 — J. Xopfild teskari bog‘lanishlarga ega neyron tarmog‘i energiyani minimallashtiruvchi tizim bo‘lishi mumkinligini ko‘rsatadi (Xopfild tarmog‘i). Koxonen nazoratsiz o‘qitiladigan tarmoq modellarini taqdim etadi (Koxonen neyron tarmog‘i); ular klasterlash, ma’lumotlarni vizuallashtirish (Koxonenning o‘zini o‘zi tashkil etuvchi xaritasi) va ma’lumotlarni dastlabki tahlil qilishning boshqa masalalarini hal qiladi.
- 1986 — Devid I. Rumelxart, J. E. Xinton va Ronald J. Uilyams, shuningdek, ulardan mustaqil ravishda S. I. Barsev va V. A. Oxonin tomonidan bir vaqtda xatoni teskari tarqatish usuli qayta kashf etilib, rivojlantiriladi.
- 2007 — Jeffri Xinton tomonidan Toronto universitetida ko‘p qatlamli neyron tarmoqlarini chuqur o‘qitish algoritmlari yaratiladi. Xinton tarmoqning quyi qatlamlarini o‘qitishda cheklangan Boltsman mashinasidan (RBM — Restricted Boltzmann Machine) foydalangan. Xintonga ko‘ra, tanib olinadigan obrazlarning ko‘plab namunalari (masalan, turli fonlardagi inson yuzlari) zarur. O‘qitishdan so‘ng muayyan vazifani (masalan, tasvirdan yuzlarni qidirishni) bajaradigan, tez ishlovchi tayyor dastur hosil bo‘ladi.
Mashhur qo‘llanish sohalari
Obrazlarni tanib olish va tasniflash
Obraz sifatida turli tabiatdagi obyektlar: matn belgilari, tasvirlar, tovush namunalari va boshqalar ishtirok etishi mumkin. Tarmoqni o‘qitishda unga obrazlarning turli namunalari qaysi sinfga tegishli ekani ko‘rsatilgan holda taqdim etiladi. Namuna, odatda, belgilar qiymatlari vektori tarzida ifodalanadi. Bunda barcha belgilar majmui namuna sinfini bir ma’noda aniqlashikerak. Belgilar yetarli bo‘lmasa, tarmoq bir namunani bir nechta sinfga kiritishi mumkin, bu esa xatodir. Tarmoqni o‘qitish tugagach, unga ilgari uchramagan obrazlarni berish va ularning qaysi sinfga tegishli ekanini aniqlash mumkin.
Bunday tarmoq topologiyasining xususiyati shundaki, chiqish qatlamidagi neyronlar soni, odatda, aniqlanadigan sinflar soniga teng bo‘ladi. Bunda neyron tarmog‘ining har bir chiqishi bilan u ifodalaydigan sinf o‘rtasida moslik o‘rnatiladi. Tarmoqqa biror obraz berilganda, uning chiqishlaridan birida obraz shu sinfga tegishli ekanini bildiruvchi signal paydo bo‘lishi kerak. Qolgan chiqishlarda esa obraz tegishli sinfga kirmasligini bildiruvchi belgi bo‘lishi lozim. Ikki yoki undan ortiq chiqishda sinfga tegishlilik belgisi paydo bo‘lsa, tarmoq o‘z javobiga «ishonchi komil emas» deb hisoblanadi.
Qo‘llaniladigan neyron tarmog‘i arxitekturalari
- Nazoratchi bilan o‘qitish:
- Nazoratchisiz o‘qitish:
- Aralash o‘qitish:
Qaror qabul qilish va boshqaruv
Bu masala tasniflash masalasiga yaqin. Vaziyatlar tasniflanadi va ularning xususiyatlari neyron tarmog‘ining kirishiga uzatiladi. Tarmoq chiqishida esa u qabul qilgan qarorni bildiruvchi belgi paydo bo‘lishi kerak. Kirish signallari sifatida boshqarilayotgan tizim holatini tavsiflovchi turli mezonlardan foydalaniladi.
Klasterlash
Klasterlash deganda kirish signallari to‘plamini sinflarga ajratish tushuniladi; bunda sinflarning soni ham, xususiyatlari ham oldindan ma’lum emas. O‘qitilgach, bunday tarmoq kirish signali qaysi sinfga tegishli ekanini aniqlay oladi. Shuningdek, tarmoq kirish signali ajratilgan sinflarning hech biriga tegishli emasligini ham bildirishi mumkin — bu o‘quv tanlanmasida bo‘lmagan yangi ma’lumotlar belgisidir. Demak, bunday tarmoq ilgari noma’lum bo‘lgan yangi signal sinflarini aniqlashi mumkin. Tarmoq ajratgan sinflar bilan tegishli fan sohasidagi mavjud sinflar o‘rtasidagi moslikni inson belgilaydi. Klasterlash, masalan, Koxonen neyron tarmoqlari.
yordamida amalga oshiriladi. Koxonenning oddiy neyron tarmoqlari haddan tashqari katta bo‘la olmaydi, shuning uchun ular giperqatlamlar (giperustunlar) va yadrolarga (mikroustunlarga) bo‘linadi. Inson miyasi bilan qiyoslanganda, parallel qatlamlarning ideal soni 112 tadan oshmasligi kerak. Bu qatlamlar, o‘z navbatida, 500 dan 2000 tagacha mikroustun (yadro)dan iborat giperqatlamlar (giperustunlar)ni hosil qiladi. Har bir qatlam esa shu qatlamlarni kesib o‘tadigan ko‘plab giperustunlarga ajratiladi. Mikroustunlar sonlar va birliklar orqali kodlanib, chiqishda natija olinadi. Zarurat bo‘lsa, ortiqcha qatlam va neyronlar olib tashlanadi yoki yangilari qo‘shiladi. Neyronlar va qatlamlar sonini tanlashda superkompyuterdan foydalanish maqsadga muvofiq. Bunday tizim neyron tarmoqlarining moslashuvchanligini ta’minlaydi.
Qo‘llaniladigan neyron tarmog‘i arxitekturalari
- Nazoratchisiz o‘qitish:
Prognozlash
Neyron tarmog‘ining prognozlash qobiliyati uning kirish va chiqish ma’lumotlari o‘rtasidagi yashirin bog‘liqliklarni aniqlash va umumlashtirish qobiliyatidan bevosita kelib chiqadi. O‘qitishdan keyin tarmoq ketma-ketlikning oldingi bir necha qiymati va/yoki ayni paytda mavjud ayrim omillar asosida uning kelajakdagi qiymatini bashorat qila oladi. Prognozlash faqat oldingi o‘zgarishlar kelajakdagi o‘zgarishlarni ma’lum darajada haqiqatan belgilab berganidamumkin. Masalan, o‘tgan haftadagi aksiyalar narxiga asoslanib ularning kelajakdagi narxini prognozlash muvaffaqiyatli chiqishi ham, chiqmasligi ham mumkin. Ammo so‘nggi 50 yil ma’lumotlariga qarab ertangi lotereya natijasini bashorat qilish deyarli hech qanday natija bermaydi.
Qo‘llaniladigan neyron tarmog‘i arxitekturalari
- Nazoratchi bilan o‘qitish:
- Aralash o‘qitish:
Approksimatsiya
Neyron tarmoqlari uzluksiz funksiyalarni approksimatsiya qila oladi. Umumlashgan approksimatsiya teoremasiisbotlangan: chiziqli amallar va kaskadli ulanish yordamida ixtiyoriy nochiziqli elementdan istalgan uzluksiz funksiyani oldindan belgilangan muayyan aniqlikdahisoblaydigan qurilma yaratish mumkin. Bu neyronning nochiziqli xarakteristikasi sigmoidal funksiyadan tortib ixtiyoriy to‘lqin paketi yoki veyvlet, sinus yoki ko‘phadgacha bo‘lishi mumkinligini anglatadi. Nochiziqli funksiya tanlovi aniq tarmoqning murakkabligiga ta’sir etishi mumkin, lekin har qanday nochiziqlilikda ham tarmoq universal approksimator bo‘lib qoladi va tuzilma to‘g‘ri tanlansa, istalgan uzluksiz avtomatning ishlashini yetarlicha aniq yaqinlashtirib ifodalay oladi.
Qo‘llaniladigan neyron tarmog‘i arxitekturalari
- Nazoratchi bilan o‘qitish:
- Aralash o‘qitish:
Ma’lumotlarni siqish va assotsiativ xotira
Neyron tarmoqlarining turli parametrlar o‘rtasidagi o‘zaro aloqalarni aniqlash qobiliyati, agar ma’lumotlar bir-biri bilan kuchli bog‘langan bo‘lsa, yuqori o‘lchamli ma’lumotlarni ixchamroq ifodalash imkonini beradi. Teskari jarayon — ma’lumotlarning bir qismidan boshlang‘ich to‘plamni tiklash — (avto)assotsiativ xotira deyiladi. Assotsiativ xotira shovqinli yoki shikastlangan kirish ma’lumotlari asosida dastlabki signal yoki obrazni ham tiklashga imkon beradi. Geteroassotsiativ xotira masalasini hal qilish mazmun bo‘yicha manzillanadigan xotirani yaratish imkonini beradi.
Ma’lumotlarni tahlil qilish
Qo‘llaniladigan neyron tarmog‘i arxitekturalari
- Nazoratchi bilan o‘qitish:
- Nazoratchisiz o‘qitish:
Optimallashtirish
Qo‘llaniladigan neyron tarmog‘i arxitekturalari
- Nazoratchisiz o‘qitish:
Masalalarni yechish bosqichlari
- O‘qitish ma’lumotlarini yig‘ish;
- Ma’lumotlarni tayyorlash va normallashtirish;
- Tarmoq topologiyasini tanlash;
- Tarmoq xususiyatlarini tajriba yo‘li bilan tanlash;
- O‘qitish parametrlarini tajriba yo‘li bilan tanlash;
- Bevosita o‘qitish;
- O‘qitishning mosligini tekshirish;
- Parametrlarni tuzatish va yakuniy o‘qitish;
- Verballashtirish — tarmoqni keyinchalik foydalanishga tayyorlash.
Ushbu bosqichlarning ayrimlarini batafsil ko‘rib chiqish lozim.
O‘qitish ma’lumotlarini yig‘ish
Tarmoqni o‘qitish ma’lumotlarini tanlash va qayta ishlash masalani yechishning eng murakkab bosqichidir. O‘qitish ma’lumotlari to‘plami bir nechta mezonga javob berishi kerak:
- reprezentativlik — ma’lumotlar o‘rganilayotgan sohadagi haqiqiy holatni aks ettirishi kerak;
- ziddiyatsizlik — o‘quv tanlanmasidagi bir-biriga zid ma’lumotlar tarmoqni o‘qitish sifatini pasaytiradi.
Boshlang‘ich ma’lumotlar tarmoq kirishlariga berishga yaroqli shaklga keltiriladi. Ma’lumotlar faylidagi har bir yozuv o‘quv juftligi yoki o‘quv vektorideyiladi. O‘quv vektorida tarmoqning har bir kirishi uchun bittadan qiymat va o‘qitish turiga (nazoratchi bilan yoki nazoratchisiz) qarab, har bir chiqishi uchun ham bittadan qiymat bo‘ladi. Tarmoqni «xom» ma’lumotlar to‘plami bilan o‘qitish, odatda, sifatli natija bermaydi. Tarmoqning ma’lumotlarni «qabul qilishini» yaxshilashning bir qancha usullari bor.
- Me’yorlashtirish turli kirishlarga o‘lchov shkalalari turlicha bo‘lgan ma’lumotlar berilganda qo‘llaniladi. Masalan, tarmoqning birinchi kirishiga noldan birgacha, ikkinchisiga esa yuzdan minggacha bo‘lgan qiymatlar uzatiladi. Me’yorlashtirish bo‘lmasa, ikkinchi kirish qiymatlari birinchisiga qaraganda tarmoq chiqishiga doimo ancha kuchli ta’sir qiladi. Me’yorlashtirish jarayonida barcha kirish va chiqish ma’lumotlari o‘lchamlari yagona me’yorga keltiriladi;
- kvantlash uzluksiz kattaliklar uchun qo‘llanadi, bunda chekli sondagi diskret qiymatlar ajratiladi. Masalan, nutqni tanib olishda tovush signallarining chastotalarini belgilash uchun kvantlashdan foydalaniladi;
- filtrlash «shovqinli» ma’lumotlar uchun qo‘llanadi.
Bundan tashqari, kirish va chiqish ma’lumotlarini ifodalash usuli ham katta ahamiyatga ega. Faraz qilaylik, tarmoq tasvirdagi harflarni tanib olishga o‘rgatilmoqda va uning bitta sonli chiqishi — harfning alifbodagi tartib raqami mavjud. Bunday holatda tarmoq 1 va 2-raqamli harflar 1 va 3-raqamli harflarga qaraganda o‘zaro ko‘proq o‘xshaydi, degan noto‘g‘ri tasavvurga keladi; aslida esa bu umumiy qoida emas. Buning oldini olish uchun ko‘p chiqishga ega tarmoq topologiyasidan foydalaniladi, bunda har bir chiqish o‘z ma’nosiga ega. Tarmoq chiqishlari qancha ko‘p bo‘lsa, sinflar orasidagi farq shuncha katta bo‘ladi va ularni adashtirish qiyinlashadi.
Tarmoq topologiyasini tanlash
Tarmoq turini masalaning qo‘yilishi va mavjud o‘quv ma’lumotlariga qarab tanlash kerak. Nazoratchi bilan o‘qitishda tanlanmaning har bir elementi uchun «ekspert» bahosi talab etiladi. Ba’zan katta hajmdagi ma’lumotlar uchun bunday bahoni olishning imkoni yo‘q. Bu hollarda nazoratchisiz o‘qitiladigan tarmoqni (masalan, Koxonenning o‘zini o‘zi tashkil etuvchi xaritasi yoki Xopfild neyron tarmog‘i) tanlash tabiiydir. Boshqa masalalarda (masalan, vaqt qatorlarini prognozlashda) ekspert bahosi boshlang‘ich ma’lumotlarning o‘zida mavjud bo‘ladi va qayta ishlash jarayonida ajratib olinishi mumkin. Bu holda ko‘p qatlamli perseptron[aniqlashtirish kerak] yoki Vord tarmog‘i.
Tarmoq xususiyatlarini tajriba yo‘li bilan tanlash
Umumiy tuzilma tanlangach, tarmoq parametrlarini tajriba asosida tanlash zarur. Perseptronga o‘xshash tarmoqlar uchun bu qatlamlar soni, yashirin qatlamlardagi bloklar soni (Vord tarmoqlarida), aylanma bog‘lanishlarning borligi yoki yo‘qligi va neyronlarning uzatish funksiyalaridir. Qatlamlar va ulardagi neyronlar sonini tanlashda neyronlar orasidagi bog‘lanishlarning umumiy soni qancha ko‘p bo‘lsa, tarmoqning umumlashtirish qobiliyati shuncha yuqori bo‘lishinihisobga olish kerak. Boshqa tomondan, bog‘lanishlar sonining yuqori chegarasi o‘quv ma’lumotlaridagi yozuvlar soni bilan cheklanadi.
O‘qitish parametrlarini tajriba yo‘li bilan tanlash
Muayyan topologiya tanlangach, neyron tarmog‘ini o‘qitish parametrlarini tanlash zarur. Bu bosqich ayniqsa nazoratchi bilan o‘qitiladigantarmoqlar uchun muhim. Parametrlarni to‘g‘ri tanlash nafaqat tarmoq javoblarining to‘g‘ri javoblarga qanchalik tez yaqinlashishini belgilaydi. Masalan, o‘rganish tezligini past belgilash yaqinlashish vaqtini uzaytiradi, biroq ba’zan tarmoq falajlanishiningoldini olishga yordam beradi. O‘qitishdagi impuls (momentum) koeffitsiyentini oshirish xatolik yuzasishakliga qarab yaqinlashish vaqtini uzaytirishi ham, qisqartirishi ham mumkin. Parametrlarning bunday turlicha ta’siridan kelib chiqib, ularning qiymatlarini o‘qitish tugash mezoniga (masalan, xatolikni minimallashtirish yoki o‘qitish vaqtini cheklash) asoslangan holda tajriba yo‘li bilan tanlash kerak, degan xulosaga kelish mumkin.
Tarmoqni o‘qitish
O‘qitish davomida tarmoq o‘quv tanlanmasini ma’lum tartibda ko‘rib chiqadi. Ko‘rish tartibi ketma-ket, tasodifiy va boshqa xil bo‘lishi mumkin. Ayrim nazoratchisiz o‘qitiladigan tarmoqlar (masalan, Xopfild tarmoqlari) tanlanmani faqat bir marta ko‘rib chiqadi. Boshqalar (masalan, Koxonen tarmoqlari), shuningdek, nazoratchi bilan o‘qitiladigan tarmoqlar tanlanmani ko‘p marta ko‘rib chiqadi. Bunda tanlanmadan bir marta to‘liq o‘tish o‘qitish epoxasideb ataladi. Nazoratchi bilan o‘qitishda boshlang‘ich ma’lumotlar ikki qismga — bevosita o‘quv tanlanmasi va test ma’lumotlariga bo‘linadi; ajratish tamoyili ixtiyoriy bo‘lishi mumkin. O‘quv ma’lumotlari tarmoqqa o‘qitish uchun uzatiladi, tekshiruv ma’lumotlari esa tarmoq xatoligini hisoblash uchun ishlatiladi (tekshiruv ma’lumotlaridan tarmoqni o‘qitishda hech qachon foydalanilmaydi). Shunday qilib, agar tekshiruv ma’lumotlaridagi xato kamayib borsa, tarmoq haqiqatan ham umumlashtirmoqda. Agar o‘quv ma’lumotlaridagi xato kamayishda davom etib, test ma’lumotlaridagi xato ortsa, demak, tarmoq umumlashtirishni to‘xtatgan va o‘quv ma’lumotlarini shunchaki «yodlab olmoqda». Bu hodisa tarmoqning ortiqcha o‘qitilishi yoki overfittingdeb ataladi. Bunday hollarda o‘qitish odatda to‘xtatiladi. O‘qitish jarayonida tarmoq falajlanishi yoki xatolik yuzasining lokal minimumiga tushib qolishi kabi boshqa muammolar ham yuzaga kelishi mumkin. Qaysi muammo paydo bo‘lishini oldindan bashorat qilish ham, uni hal etish bo‘yicha yagona aniq tavsiya berish ham mumkin emas.
Yuqorida aytilganlarning barchasi faqat neyron tarmog‘i yechimlarini izlashning iteratsion algoritmlariga tegishli. Ularda, darhaqiqat, hech narsani kafolatlash va neyron tarmoqlarini o‘qitishni to‘liq avtomatlashtirish mumkin emas[manba 4894 kundan beri ko‘rsatilmagan]. Biroq iteratsion o‘qitish algoritmlari bilan bir qatorda, juda barqaror va o‘qitish jarayonini to‘liq avtomatlashtirish imkonini beruvchi noiteratsion algoritmlar ham mavjud[manba 3268 kundan beri ko‘rsatilmagan].
O‘qitish natijasining mosligini tekshirish
O‘qitish bir qarashda muvaffaqiyatli o‘tgan bo‘lsa ham, tarmoq har doim yaratuvchisi istagan narsani o‘rganmaydi. Tarmoq tanklarni fotosuratlardan tanib olishga o‘rgatilgan, ammo keyinchalik barcha tanklar bir xil fonda suratga olingani aniqlangan holat ma’lum. Natijada tarmoq tanklarni tanish o‘rniga muayyan landshaft turini tanishga «o‘rgangan». Demak, tarmoq undan talab qilingan narsani emas, eng oson umumlashtiriladigan narsani «tushunadi».
Neyron tarmog‘i o‘qitilishining sifatini u o‘qitilmagan misollarda tekshirish kerak. Bunda o‘qitish sifati qanchalik yuqori bo‘lsa, test misollari soni ham shunchalik ko‘p bo‘lishi kerak. Agar neyron tarmog‘i xatolarining ehtimoli milliarddan birga yaqin bo‘lsa, bu ehtimollikni tasdiqlash uchun ham milliardta test misoli kerak bo‘ladi. Shunday qilib, yaxshi o‘qitilgan neyron tarmoqlarini sinash juda murakkab vazifaga aylanadi.
Kirish ma’lumotlari turiga ko‘ra tasnif
- Analog neyron tarmoqlari (ma’lumotlarni haqiqiy sonlar shaklida ishlatadi);
- Ikkilik neyron tarmoqlari (ikkilik shaklda berilgan ma’lumotlar bilan ishlaydi);
- Obrazli neyron tarmoqlari (belgilar, iyerogliflar va ramzlar ko‘rinishidagi obrazlar bilan ishlaydi).
O‘qitish xususiyatiga ko‘ra tasnif
- Nazoratchi bilan o‘qitish — neyron tarmog‘ining chiqish yechimlari fazosi ma’lum;
- Nazoratchisiz o‘qitish — neyron tarmog‘i chiqish yechimlari fazosini faqat kirish ta’sirlari asosida shakllantiradi. Bunday tarmoqlar o‘zini o‘zi tashkil etuvchi tarmoqlar deyiladi;
- Mustahkamlash orqali o‘qitish — muhit tomonidan jarima va mukofot belgilash tizimi.
Sinapslarni sozlash xususiyatiga ko‘ra tasnif
- Ruxsat etilgan bog‘lanishli tarmoqlar (neyron tarmog‘ining vazn koeffitsiyentlari masala shartlariga qarab darhol tanlanadi; bunda: , bu yerda W — tarmoqning vazn koeffitsiyentlari);
- Dinamik bog‘lanishli tarmoqlar (ularda o‘qitish davomida sinaptik bog‘lanishlar sozlanadi, ya’ni , bu yerda W — tarmoqning vazn koeffitsiyentlari).
Signal uzatilish vaqtiga ko‘ra tasnif
Ayrim neyron tarmoqlarida faollashtirish funksiyasi nafaqat bog‘lanishlarning vazn koeffitsiyentlariga , balki impulsning (signalning) aloqa kanallari orqali uzatilish vaqtiga ham bog‘liq bo‘lishi mumkin . Shu sababli umumiy ko‘rinishda elementidan elementiga bog‘lanishning faollashtirish (uzatish) funksiyasi quyidagi ko‘rinishga ega: . Unda sinxron tarmoq deb har bir bog‘lanishning uzatish vaqti nolga yoki qat’iy belgilangan doimiy qiymatga teng bo‘lgan tarmoq ataladi . Asinxron deb har bir va elementlari orasidagi bog‘lanishning uzatish vaqti o‘ziga xos, biroq doimiy bo‘lgan tarmoq ataladi.
Bog‘lanishlar xususiyatiga ko‘ra tasnif
To‘g‘ri tarqaluvchi neyron tarmoqlari
To‘g‘ri tarqaluvchi neyron tarmoqlarida (ingl. feedforward neural network) barcha bog‘lanishlar qat’iy ravishda kirish neyronlaridan chiqish neyronlariga qarab yo‘nalgan. Bunday tarmoqlarga Rozenblatt perseptroni, ko‘p qatlamli perseptron, Vord tarmoqlari.
Rekurrent neyron tarmoqlari
Chiqish neyronlari yoki yashirin qatlam neyronlaridagi signalning bir qismi kirish qatlamidagi neyronlarning kirishlariga qaytariladi (teskari bog‘lanish). Rekurrent Xopfild tarmog‘i kirish ma’lumotlarini barqaror holatga qaytish orqali «filtrlaydi», shu tariqa ma’lumotlarni siqish va assotsiativ xotiraqurish masalalarini yechishga yordam beradi. Rekurrent tarmoqlarning xususiy turi ikki yo‘nalishli tarmoqlardir. Bunday tarmoqlarda qatlamlar orasida kirishdan chiqishga va chiqishdan kirishga qarab bog‘lanishlar mavjud. Klassik misol — Kosko neyron tarmog‘i.
Radial bazis funksiyalari
Faollashtirish funksiyasi sifatida radial bazis funksiyalaridan foydalanadigan neyron tarmoqlari ishlab chiqilgan (ular RBF-tarmoqlar deb ham ataladi). Radial bazis funksiyasining umumiy ko‘rinishi:
, masalan,
bu yerda — neyronning kirish signallari vektori, — funksiyaning oyna kengligi, — kamayuvchi funksiya (ko‘pincha muayyan oraliqdan tashqarida nolga teng).
Radial bazis tarmog‘i uchta xususiyat bilan tavsiflanadi:
- faqat bitta yashirin qatlamga ega;
- faqat yashirin qatlam neyronlarida nochiziqli faollashtirish funksiyasi mavjud;
- kirish va yashirin qatlamlar orasidagi sinaptik bog‘lanishlar vaznlari birga teng.
O‘zini o‘zi tashkil etuvchi xaritalar
Bunday tarmoqlar nazoratchisiz o‘qitishdanfoydalanadigan, vizuallashtirish va klasterlashvazifasini bajaradigan raqobatlashuvchi neyron tarmog‘idir. Bu ko‘p o‘lchamli fazoni o‘lchami kichikroq (odatda, ikki o‘lchamli) fazoga proyeksiyalash usuli bo‘lib, modellashtirish, prognozlash va boshqa masalalarda ham qo‘llanadi. U Koxonen neyron tarmoqlariningturlaridan biridir. Koxonenning o‘zini o‘zi tashkil etuvchi xaritalari, avvalo, ma’lumotlarni vizuallashtirish va dastlabki («razvedka») tahlil qilish.
Koxonen tarmog‘iga signal bir vaqtning o‘zida barcha neyronlarga uzatiladi. Tegishli sinapslarning vaznlari tugun joylashuvining koordinatalari sifatida talqin qilinadi va chiqish signali «g‘olib hammasini oladi» tamoyili asosida shakllanadi. Ya’ni kirishga berilgan obyektga (sinaps vaznlari nuqtayi nazaridan) eng yaqin neyron noldan farqli chiqish signalini beradi. O‘qitish davomida sinaps vaznlari panjara tugunlari ma’lumotlar mahalliy zichlashgan joylarda «joylashadigan», ya’ni ma’lumotlar bulutining klaster tuzilishini tavsiflaydigan tarzda sozlanadi. Boshqa tomondan, neyronlar orasidagi bog‘lanishlar belgilar fazosidagi tegishli klasterlarning qo‘shnichilik munosabatlariga mos keladi.
Bunday xaritalarni ko‘p o‘lchamli fazoda joylashgan tugunlarning ikki o‘lchamli panjarasi sifatida tasavvur qilish qulay. Dastlab o‘zini o‘zi tashkil etuvchi xarita bir-biriga bog‘langan tugunlar panjarasidan iborat bo‘ladi. Koxonen tugunlarni ulashning ikkita variantini — to‘rtburchak va olti burchakli panjarani — ko‘rib chiqqan. Farq shundaki, to‘rtburchak panjarada har bir tugun to‘rtta qo‘shni bilan, olti burchakli panjarada esa oltita eng yaqin tugun bilan ulangan bo‘ladi. Bu ikki panjarada Koxonen tarmog‘ini qurish jarayoni faqat muayyan tugunga eng yaqin qo‘shnilarni ko‘rib chiqish bosqichida farqlanadi.
Panjaraning ma’lumotlar fazosiga dastlabki joylashuvi ixtiyoriy tanlanadi. Muallifning SOM_PAK dasturiy paketida tugunlarni fazoda tasodifiy boshlang‘ich joylashtirish hamda ularni tekislikda joylashtirish variantlari taklif etilgan. Shundan so‘ng tugunlar quyidagi algoritm asosida fazoda harakatlana boshlaydi:
- Tasodifiy ma’lumot nuqtasi tanlanadi .
- ga eng yaqin xarita tuguni aniqlanadi ( BMU — Best Matching Unit, ya’ni eng yaxshi mos keluvchi birlik).
- Bu tugun tomon belgilangan qadamga siljiydi. Ammo u yolg‘iz harakatlanmaydi: xaritadagi ma’lum qo‘shnichilik hududidan bir qator eng yaqin tugunlarni ham o‘z ortidan ergashtiradi. Harakatlanuvchi tugunlar ichida markaziy — ma’lumot nuqtasiga eng yaqin — tugun eng ko‘p siljiydi, qolganlari esa BMUdan uzoqlashgan sari kamroq siljiydi. Xaritani sozlashda ikki bosqich — dag‘al (ordering) va nozik (fine-tuning) sozlash farqlanadi. Birinchi bosqichda qo‘shnichilik hududlari katta qilib tanlanadi va tugunlar birgalikda harakatlanadi. Natijada xarita «tekislanadi» va ma’lumotlar tuzilishini taxminan aks ettiradi. Nozik sozlash bosqichida qo‘shnichilik radiusi 1-2 ga teng bo‘ladi va tugunlarning alohida joylashuvi sozlanadi. Bundan tashqari, siljish miqdori vaqt o‘tishi bilan bir maromda kamayadi: u har bir o‘qitish bosqichining boshida katta, oxirida esa nolga yaqin bo‘ladi.
- Algoritm ma’lum miqdordagi epoxalar davomida takrorlanadi (qadamlar soni masalaga qarab keskin o‘zgarishi mumkinligi tushunarli).
Ma’lum tarmoq turlari
- Rozenblatt perseptroni;
- Hakimovning splayn modeli;
- Rozenblattning ko‘p qatlamli perseptroni;
- Rumelxartning ko‘p qatlamli perseptroni;
- Jordan tarmog‘i;
- Elman tarmog‘i;
- Hemming tarmog‘i;
- Vord tarmog‘i;
- Xopfild tarmog‘i;
- Koxonen tarmog‘i;
- Neyron gazi;
- Kognitron;
- Neokognitron;
- Xaotik neyron tarmog‘i;
- Ossillyator neyron tarmog‘i;
- Qarama-qarshi tarqalish tarmog‘i;
- Radial bazis funksiyalari tarmog‘i (RBF-tarmog‘i);
- Umumlashgan regressiya tarmog‘i;
- V. Chebotkov tarmog‘i;
- Ehtimollik tarmog‘i;
- Reshetovning ehtimollik neyron tarmog‘i;
- Siam neyron tarmog‘i;
- Adaptiv rezonans tarmoqlari;
- Konvolyutsion neyron tarmog‘i (ingl. convolutional neural network);
- Noaniq mantiqli ko‘p qatlamli perseptron;
- Impulsli neyron tarmog‘i.
Fon Neyman arxitekturasiga ega mashinalardan farqlari
Neyron tarmoqlariga asoslangan hisoblash tizimlariayrim xususiyatlarga ega bo‘lib, ular fon Neyman arxitekturasiga ega mashinalarda uchramaydi (ammo inson miyasiga xosdir):
- ommaviy parallelizm;
- axborotni taqsimlangan shaklda ifodalash va hisoblash;
- o‘qitish va umumlashtirish qobiliyati;
- ning taqsimlangan ifodalanishi; o‘qish va umumlashtirish qobiliyati;;
- moslashuvchanlik; axborotni kontekstga bog‘liq
- qayta ishlash xususiyati; xatolarga bardoshlilik;
- kam energiya iste’moli.
Foydalanishga misollar
Moliyaviy vaqt qatorlarini prognozlash
Kirish ma’lumotlari — aksiyalarning bir yillik narxlari. Vazifa — ertangi narxni aniqlash. Quyidagi o‘zgartirish bajariladi: bugungi, kechagi va undan oldingi kundagi narxlar ketma-ket joylashtiriladi. Navbatdagi qator sanasi bir kunga siljitiladi va shu tariqa davom ettiriladi. Olingan to‘plamda uchta kirish va bitta chiqishga ega tarmoq o‘qitiladi: chiqish — muayyan sanadagi narx, kirishlar — shu sanadan bir kun, ikki kun va uch kun oldingi narxlar. O‘qitilgan tarmoqqa bugungi, kechagi va undan oldingi kundagi narxlar beriladi va ertangi kun uchun javob olinadi. Bunda tarmoq bitta parametrning avvalgi uchta qiymatga bog‘liqligini aniqlaydi. Yana biror parametrni (masalan, soha bo‘yicha umumiy indeksni) hisobga olish kerak bo‘lsa, uni kirish sifatida qo‘shish (namunalarga ham kiritish), tarmoqni qayta o‘qitish va yangi natijalarni olish zarur. Eng aniq o‘qitish uchun xatoni teskari tarqatish usulidanfoydalanish maqsadga muvofiq, chunki u natijalarini oldindan baholash nisbatan oson va amalga oshirish murakkab emas.
Psixodiagnostika
M. G. Dorrer va hammualliflarning bir qator ishlari psixologik intuitsiyani neyron tarmog‘iga asoslangan ekspert tizimlaridarivojlantirish mumkinligini o‘rganishga bag‘ishlangan. Natijalar psixodiagnostik masalalarni yechishda neyron tarmoqlari intuitsiyasi mexanizmini tushuntirishga yordam beradi. Kompyuter usullari uchun noodatiy intuitiv yondashuv — psixodiagnostikagadoir usul ishlab chiqilgan bo‘lib, u tasvirlangan voqelikmodelini yaratishni istisno etadi. Bu psixodiagnostik usullar ustidagi ishni qisqartirish va soddalashtirishga imkon beradi.
Xemoinformatika
Neyron tarmoqlaridan kimyoviy va biokimyoviy tadqiqotlarda keng foydalaniladi. Hozirgi vaqtda ular xemoinformatikadagi eng keng qo‘llaniladigan usullardan biri bo‘lib, tuzilma va xossa o‘rtasidagi miqdoriy bog‘liqliklarni aniqlashuchun xizmat qiladi. Shu sababli ular kimyoviy birikmalarning fizik-kimyoviy xossalari va biologik faolligini prognozlashda hamda oldindan belgilangan xossalarga ega kimyoviy birikma va materiallarni maqsadli loyihalashda, jumladan yangi dori vositalarini yaratishda faol qo‘llanadi.
Neyroboshqaruv
Neyron tarmoqlari dinamik obyektlarning boshqaruv tizimlarini sintez qilishda muvaffaqiyatli qo‘llanadi.
Boshqaruv sohasida neyron tizimlari obyektlarni identifikatsiyalash, prognozlash va diagnostika algoritmlari, shuningdek, optimal avtomatik rostlash tizimlarini (ART) sintez qilishda ishlatiladi. Sun’iy neyron tarmoqlari asosida ARTni amalga oshirish uchun hozirda neyrochiplar va neyrokontrollerlar (NK) ishlab chiqarish jadal rivojlanmoqda.
Ma’lum ma’noda sun’iy neyron tarmog‘i miyaningtaqlidchisidir: miya o‘rganish va noaniqlik sharoitida yo‘l topish qobiliyatiga ega. Sun’iy neyron tarmog‘i miyaga ikki jihatdan o‘xshaydi. Tarmoq bilimlarni o‘qitish jarayonida oladi, bilimni saqlash uchun esa obyektlarning o‘zidan emas, ularning bog‘lanishlaridan — neyronlararo bog‘lanish koeffitsiyentlari qiymatlaridan foydalanadi. Bular sinaptik vaznlar yoki sinaptik koeffitsiyentlar deb ataladi.
Sun’iy neyron tarmog‘ini o‘qitish jarayoni unga zarur o‘zgartirish xususiyatlarini beradigan sinaptik vaznlarni aniqlashdan iborat. Sun’iy neyron tarmog‘ining o‘ziga xosligi o‘qitish jarayonida o‘z parametrlarini va tuzilmasini o‘zgartira olishidadir.
Iqtisodiyot
Neyron tarmoqlari algoritmlari iqtisodiyotda keng qo‘llanadi. Ular yordamida iqtisodiy obyektlar (korxona, tarmoq, mintaqa) faoliyatidagi qonuniyatlarning analitik tavsifini topish algoritmlari ishlab chiqiladi. Bu algoritmlar obyektlarning ayrim «chiqish» ko‘rsatkichlarini prognozlashda qo‘llanadi. Neyron tarmoqlari usullari iqtisodiy-statistik modellashtirishning ayrim muammolarini hal etish, matematik modellar mosligini oshirish va ularni iqtisodiy voqelikka yaqinlashtirish imkonini beradi. Iqtisodiy, moliyaviy va ijtimoiy tizimlar juda murakkab bo‘lib, insonlarning harakatlari va qarshi harakatlari natijasida shakllanadi. Shu sababli barcha ehtimoliy harakat va qarshi harakatlarni hisobga oluvchi to‘liq matematik modelni yaratish nihoyatda qiyin (hatto yechimi bo‘lmasligi ham mumkin) masaladir. Bunday murakkab tizimlarda jamiyat va iqtisodiyotning xatti-harakatlarini bevosita taqlid qiladigan modellardan foydalanish tabiiy va eng samarali usuldir. Neyron tarmoqlari metodologiyasi aynan shuni taklif qila oladi.
Avtonom tizimlar
Robotlar, haydovchisiz avtomobillar va dronlar kabi avtonom tizimlar turli sohalarda tobora ko‘proq qo‘llanmoqda. Ularni ishlab chiqishda neyron tarmoqlari obrazlarni tanib olish, matnlarni tahlil qilish va tizimlarni boshqarish masalalarida asosiy rol o‘ynaydi. Neyron tarmoqlari sensorlardan olingan ma’lumotlarni tahlil qilish, qurilmalarni boshqarish va qaror qabul qilishda qo‘llanadi. Chuqur o‘rganish usullari obyektlarni aniqlash va tanib olishda tez-tez ishlatiladi, ammo borish qiyin joylarda yoki yoritish yomon bo‘lgan sharoitda obyektlar bilan ishlashda qiyinchiliklar yuzaga keladi. Avtonom transport sohasida neyron tarmoqlari miya va ong faoliyati tamoyillarini o‘zlashtirishga misoldir. Tadqiqotlarda ular transport vositalarini intellektual idrok etish va ularning turini aniqlash uchun ishlatiladi.[manba 1110 kundan beri ko‘rsatilmagan][manbada mavjud emas].
Tavsiyalar tizimlari
Neyron tarmoqlari oldingi faoliyatimizga asoslanib, musiqa, film yoki mahsulotlar kabi yangi va qiziqarli narsalarni tavsiya qiladigan tizimlarni takomillashtirish uchun qimmatli vositadir. Biroq ma’lumotlar hajmi ortgani sari ularni qayta ishlashning yanada ilg‘or usullariga ehtiyoj tug‘iladi. Neyron tarmoqlari ma’lumotlarni qayta ishlash, ularning o‘rtasidagi yashirin aloqalarni aniqlash va biz uchun eng qiziqarli hamda mos bo‘lishi mumkin bo‘lgan takliflarni tanlashga yordam beradi. Masalan, ular avvalgi xatti-harakatlarimiz va xaridlarimiz asosida mahsulotlarni aniqroq tavsiya qilishda qo‘llanadi. Ushbu sohada neyron tarmoqlaridan foydalanish tavsiyalar sifatini sezilarli yaxshilaydi va foydalanuvchilar qoniqishini oshiradi.[manba 1110 kundan beri ko‘rsatilmagan][manbada mavjud emas].
Astronomiyada neyron tarmoqlari
Astronomiyada neyron tarmoqlari ma’lumotlarni tahlil qilishning qudratli vositasidir. Ular tarixan uch bosqichda rivojlangan: 1980-yillarda parametrlari qo‘lda tanlangan ko‘p qatlamli perseptronlardan foydalanish, 2010-yillarda xom ma’lumotlarni bevosita qayta ishlaydigan konvolyutsion va rekurrent neyron tarmoqlariga o‘tish hamda inson nazoratisiz ishlovchi zamonaviy generativ va o‘zini o‘zi o‘qituvchi modellar paydo bo‘lishi. Hozir astronomik ma’lumotlar eksponensial sur’atda ko‘payib (har 16 oyda ikki baravar ortib) borayotgan bir paytda, chuqur o‘rganish ularni qayta ishlash uchun zarur bo‘lib qolmoqda. Kelajakda to‘rtinchi bosqich kutilmoqda: unda astronomiya hamjamiyati astronomik vazifalar uchun qo‘shimcha o‘qitilgan GPT turidagi universal asos modellaridan foydalanishga o‘tishi mumkin.
Adabiyotlar
- M. B. Berkinblit Neyron tarmoqlari. — Moskva: MIROS va RTA VZMSH, 1993. — 96 bet — ISBN 5-7084-0026-9.
- G. K. Voronovskiy, K. V. Maxotilo, S. N. Petrashev, S. A. Sergeyev Genetik algoritmlar, sun’iy neyron tarmoqlari va virtual voqelik muammolari. — Xarkov: Osnova, 1997. — 112 bet — ISBN 5-7768-0293-8.
- Yu. F. Golubev Mexatronikada neyron tarmog‘i usullari. — Moskva: Moskva universiteti nashriyoti, 2007. — 157 bet — ISBN 978-5-211-05434-9.
- A. N. Gorban Neyron tarmoqlarini o‘qitish. — Moskva: SSSR–AQSH «Paragraf» qo‘shma korxonasi, 1990. — 160 bet
- A. N. Gorban, D. A. Rossiyev Shaxsiy kompyuterda neyron tarmoqlari. — Novosibirsk: Nauka, 1996. — 276 bet — ISBN 5-02-031196-0.
- A. N. Gorban, V. L. Dunin-Barkovskiy va boshqalar Neyroinformatika. — Novosibirsk: Nauka, 1998.
- Ya. Gudfellou, I. Benjio, A. Kurvill Chuqur o‘rganish = Chuqur o‘rganish. — Moskva: DMK-Press, 2017. — 652 bet — ISBN 978-5-97060-554-7.
- D. M. Yeryomin, I. B. Garseyev Intellektual boshqaruv tizimlarida sun’iy neyron tarmoqlari. — Moskva: MIREA, 2004. — 75 bet — ISBN 5-7339-0423-2.
- R. Kallan Neyron tarmoqlarining asosiy tushunchalari = Neyron tarmoqlari mohiyati. Birinchi nashr. — Moskva: Vilyams, 2001. — 288 bet — ISBN 5-8459-0210-X.
- V. V. Kruglov, V. V. Borisov Sun’iy neyron tarmoqlari. Nazariya va amaliyot. — Moskva: Goryachaya liniya — Telekom, 2001. — 382 bet — ISBN 5-93517-031-0.
- Ye. M. Mirkes Neyrokompyuter. Standart loyihasi. — Novosibirsk: Nauka, 1999. — 337 bet — ISBN 5-02-031409-9. Boshqa onlayn nusxalar: Neyrokompyuter. Standart loyihasi.
- S. Nikolenko, A. Kadurin, Ye. Arxangelskaya Chuqur o‘rganish. — Sankt-Peterburg: Piter, 2018. — 480 bet — ISBN 978-5-496-02536-2.
- Stanislav Osovskiy. Axborotni qayta ishlash uchun neyron tarmoqlari = Axborotni qayta ishlash uchun neyron tarmoqlari (polyakcha) / I. D. Rudinskiy tarjimasi. — Moskva: Moliya va statistika, 2004. — 344 bet — ISBN 5-279-02567-4.
- A. V. Savelyev Neyron tarmoqlari umumiy nazariyasi sari. Murakkablik masalasi haqida // Neyrokompyuterlar: ishlab chiqish va qo‘llash. — 2006. — № 4—5. — 4—14-betlar. Arxivlangan 11 2016-yil sentabr oyida.
- Sigeru Omatu, Marzuki Xalid, Rubiya Yusof. Neyroboshqaruv va uning qo‘llanilishi = Neyroboshqaruv va uning qo‘llanilishi. 2-nashr. — Moskva: IPRJR, 2000. — 272 bet — ISBN 5-93108-006-6.
- Rishard Tadeushevich, Barbara Borovik, Tomash Gonchaj, Bartosh Lepper. Dastur misollari bilan neyron tarmoqlari texnologiyasiga boshlang‘ich kirish / I. D. Rudinskiy tarjimasi. — Moskva: Goryachaya liniya — Telekom, 2011. — 408 bet — ISBN 978-5-9912-0163-6..
- V. A. Terexov, D. V. Yefimov, I. Yu. Tyukin Neyron tarmoqlariga asoslangan boshqaruv tizimlari. — Moskva: Oliy maktab, 2002. — 184 bet — ISBN 5-06-004094-1.
- F. Uosserman Neyrokompyuter texnikasi: nazariya va amaliyot = Neyron hisoblashlari. Nazariya va amaliyot. — Moskva: Mir, 1992. — 240 bet — ISBN 5-03-002115-9. — [Arxivlangan 30 2009-yil iyun oyida.]
- S. Xaykin Neyron tarmoqlari: to‘liq kurs = Neyron tarmoqlari: batafsil asoslar. 2-nashr. — Moskva: Vilyams, 2006. — 1104 bet — ISBN 0-13-273350-1.
- L. N. Yasnitskiy Sun’iy intellektga kirish. — Moskva: «Akademiya» nashriyot markazi, 2005. — 176 bet — ISBN 5-7695-1958-4.
- Yan Lekun. Mashina qanday o‘rganadi. Neyron tarmoqlari va chuqur o‘rganish sohasidagi inqilob. (Sber kutubxonasi: Sun’iy intellekt). — Moskva: Alpina non-fikshn, 2021. — 348 bet — ISBN 978-5-907394-29-2.
Havolalar
- 3Blue1Brown. Ammo neyron tarmog‘i nima? (inglizcha). YouTube. YouTube (5-oktabr 2017-yil). Murojaat qilingan sana: 18-avgust 2025-yil. Arxivlangan 19-avgust 2025-yil.
- Devid Krizel. Neyron tarmoqlariga qisqacha kirish (inglizcha). DKriesel.com (2007). Murojaat qilingan sana: 18-avgust 2025-yil.
- Ian Gudfellou, Yoshua Benjio, Aaron Kurvill. Chuqur o‘rganish (inglizcha). MIT Press (2016). — mashinali o‘rganish va xususan, chuqur o‘rganish.
- Saymon J. D. Prins. Chuqur o‘rganishni tushunish (inglizcha). UDL Book (2025). — Bu kitob chuqur o‘rganishga bag‘ishlangan ajoyib manba bo‘lgan, biroq so‘nggi yutuqlarni qamrab olmagan «Deep Learning» (Gudfellou va boshqalar, 2016) asarining ma’naviy davomchisi sifatida mo‘ljallangan. Murojaat qilingan sana: 18-avgust 2025-yil.
- GOST R 71476-2024. Sun’iy intellekt. Sun’iy intellekt tushunchalari va terminologiyasi. Digital Russia (2024-yil dekabr). — 1-yanvar 2025-yildan kuchga kirgan va birinchi milliy standart hisoblanadi. U sun’iy intellekt tushunchalari va terminologiyasi bo‘yicha Rossiyada qabul qilingan. Murojaat qilingan sana: 18-avgust 2025-yil. Arxivlangan 28-avgust 2025-yil.