Nutqni tanib olish

Nutqni tanib olish — nutq signalini raqamli axborotga (masalan, matnli ma’lumotlarga) avtomatik aylantirish jarayonidir. Bunga teskari vazifa — nutqni sintez qilish (text-to-speech).

Tarixi

XX asr

Nutqni tanib olishga mo‘ljallangan birinchi qurilma 1952-yilda paydo bo‘lgan. Bell Laboratories kompaniyasi ishlab chiqqan «Odri» (Audrey, talaffuzi [ˈɔːdri], Automatic Digit Recognizer nomining qisqartmasi) so‘zlovchi aytgan raqamlarni 0 dan 9 gacha taniy olgan. Qurilmaning ishlash tamoyili raqamlarni unli tovushlariga qarab aniqlash uchun muayyan chastota diapazonlaridagi energiyani o‘lchashga asoslangan. Biroq qurilmani har bir kishining ovoziga alohida moslashtirish zarur bo‘lgani sababli «Odri» keng tarqalmagan.

1950-yillarda Amerikaning IBM kompaniyasi ovozni tanib oluvchi o‘z qurilmasini ishlab chiqishni boshladi. Uilyam Dyorsh rahbarligida kompaniyaning San-Xose bo‘linmasida «Syutkeys» (Suitcase) prototipi yaratildi. Keyinchalik u 1961-yilda Amerika matbuotiga namoyish etilgan ixcham IBM Shoebox qurilmasiga aylandi. Qurilma 0 dan 9 gacha bo‘lgan raqamlardan tashqari, ingliz tilida aytilgan 16 ta so‘zni ham taniy olgan. Buning uchun atigi 31 ta tranzistor kerak bo‘lgan, boshqa ishlab chiqaruvchilar esa har bir so‘zga 200 tadan tranzistor ishlatgan. Keyinchalik qurilma Jahon ko‘rgazmasida, Sietlda 1962-yilda ommaga namoyish etildi.

1963-yilda AQSHda Sperry korporatsiyasi muhandislari yaratgan, tolali-optik xotira qurilmasiga ega «Septron» (Sceptron, talaffuzi [ˈseptrɑːn], «k» tovushisiz) nomli mitti nutqni tanish qurilmalari taqdim etildi. Bu qurilmalar operator aytgan muayyan iboralarga javoban turli harakatlar ketma-ketligini bajargan. «Septron» qurilmalaridan statsionar (simli) aloqa sohasida ovoz orqali raqam terishni va aytib turilgan matnni teletaypda avtomatik yozib olishni tashkil etishda foydalanish mumkin edi. Ulardan harbiy sohada (murakkab turdagi harbiy texnikani ovoz orqali boshqarish uchun), aviatsiyada («aqlli avionika»ni yaratish, ya’ni uchuvchi va ekipaj a’zolarining buyruqlariga javob beradigan tizimlarda), avtomatlashtirilgan boshqaruv tizimlarida va boshqa sohalarda ham foydalanish mumkin edi. 1983-yilda «Apach» zarba beruvchi vertolyotlari uchun «aqlli avionika» interaktiv majmuasi taqdim etildi. U uchuvchining buyruqlari va so‘rovlarini tanib, ularni bort uskunalarini boshqarish signallariga aylantirgan hamda topshiriqni bajarish mumkinligi haqida uchuvchiga ovozli, qisqa javob qaytargan.

Nutqni tanib oluvchi tijorat dasturlari 90-yillarning boshida paydo bo‘ldi. Odatda ulardan qo‘l jarohati sababli katta hajmdagi matnni klaviaturada tera olmaydigan kishilar foydalanadi. Bu dasturlar (masalan, Dragon NaturallySpeaking[ingl.], VoiceNavigator[ingl.]) foydalanuvchining nutqini matnga aylantirib, qo‘llariga tushadigan yukni kamaytiradi. Bunday dasturlarning tanib olish ishonchliligi uncha yuqori bo‘lmasa-da, yillar davomida asta-sekin yaxshilanmoqda.

XXI asr

Mobil qurilmalarning hisoblash quvvati ortishi ularga ham nutqni tanish funksiyasiga ega dasturlar yaratish imkonini berdi. Shunday dasturlardan biri — Microsoft Voice Command ilovasi bo‘lib, u ko‘plab ilovalarni ovoz yordamida boshqarishga imkon beradi. Masalan, pleyerda musiqa ijrosini yoqish yoki yangi hujjat yaratish mumkin.

Nutqni tanib olish texnologiyasi biznesning turli yo‘nalishlarida tobora ommalashmoqda. Masalan, poliklinikada shifokor tashxisni ovoz chiqarib aytishi va u darhol elektron tibbiy kartaga kiritilishi mumkin. Yana bir misol: deyarli har bir kishi hech bo‘lmasa bir marta chiroqni ovoz bilan o‘chirish yoki derazani ochishni orzu qilgan. So‘nggi vaqtlarda telefon orqali ishlaydigan interaktiv ilovalarda nutqni avtomatik tanib olish va sintez qilish tizimlari tobora keng qo‘llanilmoqda. Bunday tizimlarda ovozli portal bilan muloqot tabiiyroq kechadi: foydalanuvchi tanlovni nafaqat telefon tugmalaridagi tonal terish, balki ovozli buyruqlar orqali ham amalga oshirishi mumkin. Bunda nutqni tanish tizimlari muayyan so‘zlovchiga bog‘liq emas, ya’ni har qanday odamning ovozini taniy oladi.

Nutqni tanib olish texnologiyalari rivojidagi navbatdagi bosqich sifatida ovozsiz nutq interfeyslarini (silent speech interfaces, SSI) rivojlantirishni ko‘rsatish mumkin. Bu nutqni qayta ishlash tizimlari artikulyatsiyaning dastlabki bosqichidayoq nutq signallarini qabul qilish va tahlil etishga asoslanadi. Ushbu yo‘nalishning paydo bo‘lishiga zamonaviy nutqni tanish tizimlarining ikkita jiddiy kamchiligi sabab bo‘lgan: shovqinga haddan tashqari sezgirlik va tizimga murojaat qilganda so‘zlarni aniq hamda ravshan talaffuz qilish zarurati. SSI yondashuvida qayta ishlangan akustik signallarga qo‘shimcha ravishda shovqin ta’siriga uchramaydigan yangi sensorlardan foydalaniladi.

Nutqni tanib olish tizimlarining tasnifi

Nutqni tanib olish tizimlari quyidagi mezonlar bo‘yicha tasniflanadi:

  • lug‘at hajmiga ko‘ra (cheklangan so‘zlar to‘plami yoki katta lug‘at);
  • so‘zlovchiga bog‘liqligiga ko‘ra (muayyan so‘zlovchiga bog‘liq va bog‘liq bo‘lmagan tizimlar);
  • nutq turiga ko‘ra (uzluksiz yoki alohida-alohida aytilgan nutq);
  • vazifasiga ko‘ra (diktovka tizimlari, buyruq tizimlari);
  • qo‘llaniladigan algoritmga ko‘ra (neyron tarmoqlar, yashirin Markov modellari, dinamik dasturlash);
  • tuzilmaviy birlik turiga ko‘ra (iboralar, so‘zlar, fonemalar, difonlar, allofonlar);
  • tuzilmaviy birliklarni ajratish tamoyiliga ko‘ra (namuna bo‘yicha tanib olish, leksik elementlarni ajratish).

Nutqni avtomatik tanib olish tizimlarining xalaqitlarga chidamliligi, avvalo, ikkita mexanizmdan foydalanish orqali ta’minlanadi:

  • Akustik signalni tahlil qilish asosida nutq signalining ayni bir elementlarini ajratib olishning bir nechta usulini parallel qo‘llash;
  • Nutq oqimidagi so‘zlarni segmentlar (fonemalar) bo‘yicha va yaxlit holda idrok etish usullaridan bir-biridan mustaqil ravishda parallel foydalanish.

Nutqni tanib olish usullari va algoritmlari

«… nutqni idrok etish modelidagi nutq signaliga ishlov berish algoritmlari inson foydalanadigan tushunchalar va ular o‘rtasidagi munosabatlar tizimiga tayanishi kerakligi ayon».

Hozirgi kunda nutqni tanib olish tizimlari tanib olish shakllarini tasdiqlash tamoyillariga asoslanadi[kimning fikricha?] tanib olish shakllari[noma’lum atama]. Hozirgacha qo‘llanilgan usul va algoritmlarni etalon bilan taqqoslashga asoslangan nutqni tanishning quyidagi yirik sinflariga ajratish mumkin:

  • Dinamik dasturlash — vaqtni dinamik moslashtirish algoritmlari (Dynamic Time Warping).
  • Kontekstga bog‘liq tasniflash. Bunda nutq oqimidan alohida leksik elementlar — fonemalar va allofonlar ajratiladi, so‘ng ular bo‘g‘inlar va morfemalarga birlashtiriladi.

Vaqt shkalasini dinamik o‘zgartirish algoritmi nutq signallari bir xil dastlabki aytilgan iborani ifodalash-ifodalamasligini aniqlash uchun qo‘llaniladi.

Nutqni tanib olish tizimlarining arxitekturasi

Statistik ma’lumotlarga asoslangan nutqqa avtomatik ishlov berish tizimlarining arxitekturalaridan biri quyidagicha bo‘lishi mumkin:

  • Dekoder — nutqni tanish tizimining dasturiy komponenti. U tanib olish davomida akustik va til modellaridan olingan ma’lumotlarni birlashtiradi hamda shu asosda so‘zlarning eng ehtimolli ketma-ketligini aniqlaydi. Bu ketma-ketlik uzluksiz nutqni tanib olishning yakuniy natijasidir.

Tanib olish bosqichlari:

  1. Nutqni qayta ishlash nutq signalining sifatini baholashdan boshlanadi. Bu bosqichda xalaqitlar va buzilishlar.
  2. darajasi aniqlanadi. Baholash natijasi akustik moslashuv moduliga uzatiladi. Bu modul tanib olish uchun zarur bo‘lgan nutq parametrlarini hisoblash modulini boshqaradi.
  3. Signalning nutq mavjud bo‘lgan qismlari ajratilib, nutq parametrlari baholanadi. Sintaktik, semantik va pragmatik tahlil uchun fonetik hamda prosodik ehtimollik xususiyatlari aniqlanadi (so‘z turkumi va shakli haqidagi ma’lumotlar, shuningdek, so‘zlar o‘rtasidagi statistik bog‘lanishlar baholanadi).
  4. Keyin nutq parametrlari tanib olish tizimining asosiy blokiga — dekoderga uzatiladi. U kiruvchi nutq oqimini akustik va til modellarida saqlangan ma’lumotlar bilan solishtirib, so‘zlarning eng ehtimolli ketma-ketligini aniqlaydi. Shu ketma-ketlik uzluksiz nutqni tanib olishning yakuniy natijasidir.

Tanib olish tizimlarida hissiy tusga ega nutq belgilari

Inson nutqining shakli, o‘lchamlari, nutq hosil qiluvchi yo‘lning o‘zgarish dinamikasi hamda kishining hissiy holatini tavsiflovchi asosiy parametrlarini nutq namunalarini farqlashga imkon beradigan obyektiv belgilarning to‘rt guruhiga ajratish mumkin: spektral-vaqt, kepstral, amplituda-chastota va nochiziqli dinamika belgilari. Har bir guruh quyida batafsil bayon etiladi:

Spektral-vaqt belgilari

Spektral belgilar:

  • Tahlil qilinayotgan nutq signali spektrining o‘rtacha qiymati;
  • Spektrning me’yorlashtirilgan o‘rtacha qiymatlari;
  • Signalning spektr diapazonlarida bo‘lish nisbiy vaqti;
  • Signalning spektr diapazonlarida bo‘lish me’yorlashtirilgan vaqti;
  • Nutq spektrining diapazonlar bo‘yicha median qiymati;
  • Nutq spektrining diapazonlar bo‘yicha nisbiy quvvati;
  • Nutq spektri o‘rab turuvchi egri chiziqlarining o‘zgaruvchanligi;
  • Nutq spektri o‘rab turuvchi egri chiziqlari o‘zgaruvchanligining me’yorlashtirilgan qiymatlari;
  • Spektr diapazonlari orasidagi spektral o‘rovchi egri chiziqlarning o‘zaro korrelyatsiya koeffitsiyentlari.

Vaqt belgilari:

  • Segment yoki fonemaning davomiyligi;
  • Segmentning balandligi;
  • Segment shakli koeffitsiyenti.

Spektral-vaqt belgilari nutq signalini fizik-matematik nuqtayi nazardan undagi uch turdagi tarkibiy qismlarga asoslanib tavsiflaydi:

  1. tovush to‘lqinining davriy (tonal) qismlari;
  2. tovush to‘lqinining davriy bo‘lmagan (shovqinli, portlovchi) qismlari;
  3. nutq pauzalari bo‘lmagan qismlar.

Spektral-vaqt belgilari turli kishilarning ovoz impulslariga xos vaqt qatorlari shakli va spektridagi o‘ziga xoslikni, shuningdek, ularning nutq yo‘llaridagi filtrlash funksiyalarining xususiyatlarini aks ettiradi. Bu belgilar so‘zlovchining artikulyatsiya a’zolari harakatidagi o‘zgarishlar bilan bog‘liq nutq oqimi xususiyatlarini tavsiflaydi. Ular artikulyatsiya a’zolari harakatlarining o‘zaro bog‘liqligi yoki sinxronligidagi o‘ziga xoslikni ko‘rsatuvchi nutq oqimining umumlashtirilgan xususiyatlaridir.

Kepstral belgilar

  • Mel-chastotali kepstral koeffitsiyentlar;
  • Inson qulog‘i sezgirligining notekisligini hisobga olgan holda tuzatilgan chiziqli bashorat koeffitsiyentlari;
  • Qayd etish chastotasi quvvatining koeffitsiyentlari;
  • Chiziqli bashorat spektrining koeffitsiyentlari;
  • Chiziqli bashorat kepstrining koeffitsiyentlari.

Zamonaviy avtomatik nutqni tanish tizimlarining aksariyati qo‘zg‘atuvchi signal xususiyatlarini chetga surib, inson nutq yo‘lining chastota tavsifini ajratib olishga e’tibor qaratadi. Buning sababi birinchi model koeffitsiyentlari tovushlarni yaxshiroq farqlash imkonini berishidir. Qo‘zg‘atuvchi signalni nutq yo‘li signalidan ajratishda kepstral tahlil qo‘llaniladi.

Amplituda-chastota belgilari

  • Intensivlik, amplituda;
  • Energiya;
  • Asosiy ton chastotasi (ATCh);
  • Formant chastotalari;
  • Jitter (jitter) — asosiy ton chastotasining titrashi, ya’ni chastotaviy modulyatsiyasi (shovqin parametri);
  • Shimmer (shimmer) — asosiy tondagi amplitudaviy modulyatsiya (shovqin parametri);
  • Radial bazis yadro funksiyasi;
  • Nochiziqli Tiyger (Teager) operatori.

Amplituda-chastota belgilari qiymati diskret Furye o‘zgartirishining parametrlari (oyna turi va kengligi), shuningdek, tanlanma bo‘ylab oynaning ozgina siljishiga qarab o‘zgarishi mumkin bo‘lgan baholarni olishga imkon beradi. Akustik jihatdan nutq signali havo muhitida tarqaladigan, tuzilishi murakkab tovush tebranishlaridan iborat. Ular chastotasi (bir soniyadagi tebranishlar soni), intensivligi (tebranishlar amplitudasi) va davomiyligi bilan tavsiflanadi. Amplituda-chastota belgilari nutq signalini eng qisqa vaqt ichida idrok etish uchun insonga zarur va yetarli axborotni beradi. Biroq bu belgilardan foydalanish hissiy tusga ega nutqni aniqlash vositasi sifatida ularning imkoniyatlarini to‘liq ishga solishga yo‘l qo‘ymaydi.

Nochiziqli dinamika belgilari

  • Puankare tasviri;
  • Rekurrent grafik;
  • Lyapunovning maksimal xarakteristik ko‘rsatkichi — attraktorning muayyan geometriyasiga (fazaviy portretiga) mos keladigan inson hissiy holati;
  • Fazaviy portret (attraktor);
  • Kaplan–York o‘lchamligi — insonning «xotirjamlik»dan «g‘azab»gacha bo‘lgan hissiy holatini miqdoriy ifodalovchi o‘lchov (nutq signali spektrining deformatsiyalanishi va keyinchalik siljishi).

Nochiziqli dinamika belgilari guruhida nutq signali insonning ovoz yo‘li tizimida kuzatiladigan skalyar kattalik sifatida qaraladi. Nutq hosil bo‘lish jarayonini nochiziqli deb hisoblash va uni nochiziqli dinamika usullari yordamida tahlil qilish mumkin. Nochiziqli dinamikaning vazifasi tizimni tashkil etuvchi alohida elementlar xossalari va ular o‘rtasidagi o‘zaro ta’sir qonunlari haqidagi eng tipik farazlarga tayanuvchi asosiy matematik modellar va real tizimlarni topish hamda batafsil tadqiq etishdan iborat. Hozirgi vaqtda nochiziqli dinamika usullari fundamental matematik nazariyaga asoslanadi. Bu nazariyaning negizida Takens teoremasi[ingl.] yotadi. Ushbu teorema nochiziqli avtoregressiya g‘oyalariga qat’iy matematik asos beradi va vaqt qatori yoki uning bitta koordinatasi orqali attraktorning fazaviy portretini tiklash mumkinligini isbotlaydi. (Attraktor deganda o‘tkinchi jarayonlar so‘nganidan keyin fazaviy trayektoriya yaqinlashadigan fazaviy fazodagi nuqtalar to‘plami yoki qism fazo tushuniladi.) Tiklangan nutq trayektoriyalaridan olingan signal tavsiflari baholari kuzatilayotgan vaqt qatorining nochiziqli deterministik fazoviy modellarini yaratishda qo‘llaniladi. Attraktorlar shaklidagi aniqlangan farqlardan hissiy tusga ega nutq signalidagi turli hissiyotlarni tanib olish va to‘g‘ri aniqlashga yordam beradigan diagnostik qoidalar hamda belgilar sifatida foydalanish mumkin.

Nutq sifati parametrlari

Raqamli kanallar orqali uzatiladigan nutq sifati parametrlari:

  • Nutq bo‘g‘inlarining tushunarliligi;
  • Nutq iboralarining tushunarliligi;
  • Nutq sifatining etalon uzatish yo‘lidagi nutq sifati bilan solishtirilgan darajasi;
  • Haqiqiy ish sharoitlaridagi nutq sifati.

Asosiy tushunchalar

  • Nutqning tushunarliligi — to‘g‘ri qabul qilingan nutq elementlari (tovushlar, bo‘g‘inlar, so‘zlar, iboralar) sonining uzatilgan jami elementlarga nisbatan foizda ifodalangan ulushi.
  • Nutq sifati — sinovdan o‘tkazilayotgan nutq uzatish tizimida nutqning qanday eshitilishiga berilgan subyektiv bahoni tavsiflovchi parametr.
  • Nutqning me’yoriy sur’ati — nazorat iborasining o‘rtacha davomiyligi 2,4 s bo‘ladigan tezlikda gapirish.
  • Nutqning tezlashtirilgan sur’ati — nazorat iborasining o‘rtacha davomiyligi 1,5-1,6 s bo‘ladigan tezlikda gapirish.
  • So‘zlovchi ovozini tanish — tinglovchilarning eshitilgan ovozni o‘zlariga ilgari tanish bo‘lgan muayyan shaxsga tegishli deb aniqlay olish imkoniyati.
  • Ma’noviy tushunarlilik — nutqning axborot mazmuni qay darajada to‘g‘ri qayta ifodalanganini ko‘rsatuvchi mezon.
  • Integral sifat — tinglovchining qabul qilingan nutq haqidagi umumiy taassurotini tavsiflovchi ko‘rsatkich.

Qo‘llanilishi

Ovozli tizimlarning asosiy afzalligi sifatida foydalanuvchiga qulaylik ko‘rsatilgan. Nutqiy buyruqlar foydalanuvchini ma’lumot va buyruq kiritish uchun sensorli hamda boshqa kiritish usullaridan foydalanish zaruratidan xalos qilishi kerak edi.

Nutqni tanib olish texnologiyasining mobil ilovalarda muvaffaqiyatli qo‘llanilishiga quyidagilar misol bo‘ladi: Yandex.Navigator ilovasida manzilni ovoz bilan kiritish va Google Now ovozli qidiruvi.

Nutqni tanib olish texnologiyasi mobil qurilmalardan tashqari biznesning turli yo‘nalishlarida ham keng tarqalmoqda:

  • Telefoniya: ovozli o‘z-o‘ziga xizmat ko‘rsatish tizimlarini yaratish orqali kiruvchi va chiquvchi qo‘ng‘iroqlarga ishlov berishni avtomatlashtirish. Xususan, ma’lumotnoma axboroti va maslahat berish, xizmat yoki tovarlarga buyurtma olish, amaldagi xizmatlar parametrlarini o‘zgartirish, so‘rovlar va anketalar o‘tkazish, ma’lumot yig‘ish, xabardor qilish hamda boshqa har qanday ssenariylar uchun;
  • «Aqlli uy» yechimlari: «Aqlli uy» tizimlarini ovoz orqali boshqarish interfeysi;
  • Maishiy texnika va robotlar: elektron robotlarning ovozli interfeysi; maishiy texnikani ovoz bilan boshqarish va boshqalar;
  • Stol kompyuterlari va noutbuklar: kompyuter o‘yinlari va ilovalarida ma’lumotlarni ovoz orqali kiritish;
  • Avtomobillar: avtomobil salonida, masalan, navigatsiya tizimini ovoz bilan boshqarish;
  • Imkoniyati cheklangan kishilar uchun ijtimoiy xizmatlar.

Havolalar