Neyronli mashina tarjimasi

Neyron mashina tarjimasi (ingl. Neural Machine Translation, NMT) — mashina tarjimasiga yondashuv bo‘lib, unda yirik sun’iy neyron tarmoqdan foydalaniladi. U iboralar statistikasiga asoslangan mashina tarjimasi usullaridan farq qiladi, chunki bu usullarda alohida ishlab chiqilgan tarkibiy qismlar qo‘llanadi.

Tavsif

Quyidagi kompaniyalarning tarjima xizmatlari — Google, Yandeks, Microsoft va PROMT — allaqachon neyron tarjimadan foydalanmoqda. Google kompaniyasi Google neyron mashina tarjimasi (GNMT) tizimini ilgari ishlatilgan statistik usullar o‘rniga qo‘llaydi. Microsoft nutqni tarjima qilishda ham shunga o‘xshash texnologiyadan foydalanadi (jumladan, Microsoft Tarjimon va Skype Tarjimon xizmatlarida). Garvard universitetining tabiiy tilni qayta ishlash bo‘yicha tadqiqot guruhi ochiq manba kodli neyron mashina tarjimasi tizimi — OpenNMT’ni taqdim etdi. Yandeks.Tarjimon gibrid modelga ega: statistik model ham, neyron tarmoq ham o‘z tarjima variantini taklif qiladi. Shundan so‘ng CatBoost texnologiyasi mashinaviy o‘rganishga asoslanib, olingan natijalardan eng yaxshisini tanlaydi.

NMT modellari chuqur o‘rganish va xususiyatlarni o‘rganishdan foydalanadi. Ularning ishlashi uchun an’anaviy statistik mashina tarjimasi (SMT) tizimlariga nisbatan ancha kam xotira talab etiladi. Bundan tashqari, an’anaviy tarjima tizimlaridan farqli ravishda, neyron tarjima modelining barcha qismlari tarjima samaradorligini maksimal darajaga yetkazish uchun birgalikda (boshidan oxirigacha) o‘qitiladi.

Ikki yo‘nalishli rekurrent neyron tarmoq (RNN), shuningdek, kodlovchi deb ataladi; u manba gapni kodlab, ikkinchi rekurrent neyron tarmoqqa uzatish uchun ishlatiladi. Bu ikkinchi tarmoq dekodlovchi deb ataladi va maqsadli tildagi so‘zlarni bashorat qilish uchun xizmat qiladi.

Tarix

Dastlabki yondashuvlar

1987-yilda Robert B. Allen to‘g‘ri yo‘nalishli neyron tarmoqlar yordamida lug‘ati 31 ta so‘z bilan cheklangan, avtomatik yaratilgan inglizcha gaplarni ispan tiliga tarjima qilishni namoyish etdi. Bu tajribada tarmoqning kirish va chiqish qatlamlari hajmi mos ravishda manba va maqsad tillardagi eng uzun gaplarga yetarli bo‘ladigan qilib tanlangan, chunki tarmoqda ixtiyoriy uzunlikdagi ketma-ketliklarni o‘zgarmas o‘lchamdagi ifodaga kodlash mexanizmi yo‘q edi. Allen o‘z ishining xulosasida avtoassotsiativ modellardan foydalanish imkoniyatiga ham ishora qilgan: ulardan biri manba ma’lumotni kodlash, ikkinchisi esa maqsad ma’lumotni dekodlash uchun mo‘ljallanishi mumkin edi.

1991-yilda Lonni Krisman Allenning ishini rivojlantirib, manba va maqsad tillar uchun alohida rekursiv avtoassotsiativ xotira (RAAM) tarmoqlarini (Jordan B. Pollak tomonidan ishlab chiqilgan) o‘qitdi. Har bir RAAM tarmog‘i ixtiyoriy uzunlikdagi gapni o‘zgarmas o‘lchamli yashirin ifodaga kodlashni va ushbu ifodadan dastlabki gapni qayta tiklashni o‘rgandi. Bundan tashqari, ikkala tarmoq umumiy yashirin ifodadan foydalanish uchun birgalikda o‘qitildi; natijada manba kodlovchi maqsad dekodlovchi qayta tiklay oladigan ifodani yaratishi mumkin bo‘ldi. 1997-yilda Forkada va Neko bu jarayonni soddalashtirib, manba kodlovchi va maqsad dekodlovchini ular «rekursiv geteroassotsiativ xotira» deb atagan model bo‘yicha bevosita o‘qitishni taklif qildilar.

Shuningdek, 1997-yilda Kastanyo va Kasakuberta Elmanning rekurrent neyron tarmog‘idan lug‘at hajmi va murakkabligi juda cheklangan boshqa bir mashina tarjimasi vazifasida foydalanganlar.

Garchi bu dastlabki yondashuvlar zamonaviy NMT tizimlariga o‘xshagan bo‘lsa-da, o‘sha davrning hisoblash resurslari haqiqiy matnlarni mashina yordamida tarjima qilishdagi murakkab vazifalarni hal etish uchun yetarlicha katta ma’lumotlar to‘plamiga ishlov berishga imkon bermagan. Shu sababli 1990- va 2000-yillarda statistik mashina tarjimasi (SMT) kabi boshqa usullar rivojlangan.

Gibrid yondashuvlar

SMT keng qo‘llanilgan davrda ayrim tadqiqotlarda statistik mashina tarjimasining turli qismlarini neyron usullar bilan almashtirishgan, biroq ularni birlashtirish uchun logarifmik-chiziqli yondashuvdan foydalanish davom etgan. Masalan, Xolger Shvenk boshqa tadqiqotchilar bilan hamkorlikdagi bir qancha ishlarida an’anaviy n-grammali til modelini[ingl.] neyron model bilan almashtirgan va teskari aloqa tarmog‘i yordamida iboralar tarjimasining ehtimolliklarini baholagan.

Havolalar