Belgilarni optik tanib olish (OCR)

Portativ skaner yordamida real vaqt rejimida skanerlash va belgilarni optik tanib olish (OCR) jarayonini hamda natijaning monitorda ko‘rsatilishini aks ettiruvchi video
Belgilarni optik tanib olishda burchaklarni aniqlash algoritmi ishining natijasi

Belgilarni optik tanib olish (ingl. optical character recognition, OCR) — mexanik yoki elektron usulda tasvirlardagi qo‘lda yozilgan, mashinkada terilgan yoki bosma matnni matnli ma’lumotlarga aylantirish jarayoni. Bu ma’lumotlar belgilarni ifodalash uchun kompyuterda (masalan, matn muharririda) ishlatiladi. Tanib olish kitob va hujjatlarni elektron shaklga o‘tkazish, avtomatlashtirish orqali biznesdagi hisob tizimlarini boshqarish yoki matnni veb-sahifada e’lon qilish uchun keng qo‘llaniladi. Belgilarni optik tanib olish matnni tahrirlash, so‘z va iboralarni qidirish, matnni ixchamroq shaklda saqlash, materiallarning sifatini yo‘qotmasdan namoyish etish yoki chop etish, axborotni tahlil qilish, shuningdek, matnga elektron tarjima, formatlash yoki nutqqa aylantirish usullarini qo‘llash imkonini beradi. Matnni optik tanib olish quyidagi sohalarda tadqiq etiladigan masalalardan biridir: obrazlarni tanib olish, sun’iy intellekt va kompyuter ko‘rishi.

Matnni optik tanib olish tizimlari muayyan shriftga moslashish uchun kalibrlashni talab qiladi; dastlabki versiyalarda dasturni sozlash uchun har bir belgining tasviri zarur bo‘lgan va dastur bir vaqtning o‘zida faqat bitta shrift bilan ishlay olgan. Hozirda aksariyat shriftlarni yuqori aniqlikda taniydigan «intellektual» tizimlar eng keng tarqalgan. Ayrim optik tanib olish tizimlari matnning dastlabki formatini, jumladan tasvirlar, ustunlar va boshqa matnga oid bo‘lmagan qismlarni ham qayta tiklay oladi.

Tarix

1929-yilda Gustav Taushek (nemischa Gustav Tauschek) patent oldi. Bu patent matnni optik tanib olish usuliga tegishli bo‘lib, Germaniyada berilgan edi. Keyinroq Gendel (ingl. Paul W. Handel) o‘z usuli uchun AQSHda 1933-yilda patent oldi. 1935-yilda Taushek ham o‘z usuli uchun AQSH patentini oldi. Taushek mashinasi shablonlar va fotodetektordan foydalanadigan mexanik qurilma edi.

1950-yilda Devid H. Shepard (ingl. David H. Shepard), kriptotahlilchi sifatida AQSH Qurolli kuchlar xavfsizlik agentligida faoliyat yuritar ekan, bosma xabarlarni kompyuterda qayta ishlash uchun mashina tiliga aylantirish masalasini tahlil qildi va shu vazifani bajaradigan mashinani yaratdi. AQSH patentini olgach, u bu haqda «Vashington Deyli Nyus» (27-aprel 1951-yil) va «Nyu-York Tayms» (26-dekabr 1953-yil) gazetalarida ma’lum qildi. Keyinchalik Shepard intellektual mashinalar ishlab chiqaruvchi kompaniyaga asos soldi va bu kompaniya tez orada dunyodagi dastlabki tijoriy belgilarni optik tanib olish tizimlarini bozorga chiqardi.

Birinchi tijoriy tizim «Riders Dayjest»da 1955-yilda o‘rnatildi. Ikkinchi tizim esa «Standart Oyl» kompaniyasiga kredit kartalarini o‘qib, cheklar bilan ishlash maqsadida sotildi. Shepard kompaniyasi yetkazib bergan boshqa tizimlar 1950-yillarning oxirida sotilgan bo‘lib, ular orasida AQSH Harbiy-havo kuchlari uchun mashinkada terilgan xabarlarni o‘qish va teletayp orqali uzatishga mo‘ljallangan sahifa skaneri ham bor edi. Keyinchalik IBM Shepard patentlaridan foydalanish uchun litsenziya oldi.

Taxminan 1965-yilda «Riders Dayjest» va «Ar-Si-Ey» kompaniyalari reklama e’lonlari orqali qaytarib yuborilgan «Riders Dayjest» kuponlarining seriya raqamlarini raqamlashtirishga mo‘ljallangan, matnni optik tanib oluvchi hujjat o‘qish qurilmasini yaratish ustida hamkorlik qila boshladi. Hujjatlarga chop etish uchun «Ar-Si-Ey»ning barabanli printerida maxsus OCR-A shrifti ishlatildi. Hujjat o‘qish mashinasi bevosita RCA 301 kompyuteriga (dastlabki yarimo‘tkazgichli EHMlardan biri) ulangan edi. Mashina bir daqiqada 1500 ta hujjatni tekshirgan va to‘g‘ri qayta ishlay olmaganlarini ajratib tashlagan.

AQSH pochta xizmati 1965-yildan boshlab xat-xabarlarni saralash uchun tadqiqotchi Yakov Rabinov yaratgan texnologiyalarga asoslangan optik tanib olish mashinalaridan foydalanadi. Yevropada bunday mashinalarni qo‘llagan birinchi tashkilot Buyuk Britaniya pochta xizmati bo‘lgan.

SSSRda qo‘lyozma matndagi harflarni aniqlash va alohida so‘zlarni ajratish bo‘yicha muvaffaqiyatli tajribalar 1960-yillarning oxirida o‘tkazilgan. Ularning natijalari 1969-yilda e’lon qilingan (shu maqsadda «Nairi» hisoblash mashinasi va «Avtokod-Nairi» algoritmik tilida maxsus yozilgan dasturdan foydalanilgan).

Kanada pochtasi 1971-yildan buyon belgilarni optik tanib olish tizimlaridan foydalanadi. Dastlab saralash markazida bunday tizimlar oluvchining ismi va manzilini o‘qiydi, so‘ng konvertga shtrix-kod bosadi. Shtrix-kod ultrabinafsha nurda yaqqol ko‘rinadigan maxsus siyoh bilan tushiriladi. Bu konvertning istalgan joyiga yozilgan bo‘lishi mumkin bo‘lgan qo‘lyozma manzil maydoni bilan adashib ketmaslik uchun qilinadi.

1974-yilda Rey Kurtsveyl «Kurtsveyl Kompyuter Prodakts» kompaniyasiga asos soldi va istalgan shriftda bosilgan matnni taniy oladigan birinchi belgilarni optik tanib olish tizimini ishlab chiqishga kirishdi. Kurtsveyl bu texnologiyaning eng yaxshi qo‘llanishi ko‘zi ojizlar uchun matnni ovoz chiqarib o‘qib beradigan kompyuterli o‘qish qurilmasini yaratish deb hisoblardi. Bunday qurilma uchun bir vaqtning o‘zida ikkita texnologiyani — zaryadli bog‘langan qurilma (CCD) asosidagi planshetli skanerni va matnni nutqqa aylantiruvchi sintezatorni ixtiro qilish zarur edi. Yakuniy mahsulot 13-yanvar 1976-yilda Kurtsveyl va Ko‘zi ojizlar milliy federatsiyasi rahbarlari ishtirokidagi matbuot anjumanida namoyish etildi.

1978-yilda «Kurtsveyl Kompyuter Prodakts» belgilarni optik tanib olish uchun mo‘ljallangan birinchi tijoriy jihatdan muvaffaqiyatli kompyuter dasturini sota boshladi. Ikki yil o‘tib, Kurtsveyl kompaniyasini matnni tanib olish tizimlarini yanada tijoratlashtirishdan manfaatdor bo‘lgan «Kseroks» korporatsiyasiga sotdi. «Kurtsveyl Kompyuter Prodakts» «Kseroks»ning «Skansoft» nomi bilan tanilgan sho‘ba korxonasiga aylandi.

Kirill yozuvini taniydigan birinchi dastur Rossiyaning «OKRUS» kompaniyasi ishlab chiqqan «AutoR» dasturi edi. Dastur 1992-yilda tarqatila boshladi, DOS operatsion tizimida ishladi va hatto IBM PC/XT shaxsiy kompyuterlarida Intel 8088 protsessorining 4,77 MGts takt chastotasida ham tanib olish tezligi va sifatining maqbul darajasini ta’minladi. 90-yillarning boshida Hewlett-Packard kompaniyasi Rossiya bozoriga skanerlarini «AutoR» dasturi bilan birga yetkazib bergan. «AutoR» algoritmi ixcham, tezkor va to‘liq «intellektual», ya’ni haqiqatan ham shrift turiga bog‘liq bo‘lmagan algoritm edi. Uni 60-yillarning oxiridayoq Moskva fizika-texnika instituti (MFTI) bitiruvchilari bo‘lgan ikki yosh biofizik — G. M. Zenkin va A. P. Petrov ishlab chiqib, sinovdan o‘tkazgan. Ular o‘z tanib olish usulini «Biofizika» jurnalining 12-jildi, 3-sonida, 1967-yilda e’lon qilgan. Hozir Zenkin–Petrov algoritmi grafik belgilarni tanib olish masalasini hal qiluvchi bir nechta amaliy tizimlarda qo‘llaniladi. Ushbu algoritm asosida Paragon Software Group kompaniyasi 1996-yilda PenReader texnologiyasini yaratdi. G. M. Zenkin PenReader texnologiyasi ustidagi ishni Paragon Software Group kompaniyasida davom ettirdi. Texnologiya kompaniyaning shu nomdagi mahsulotida qo‘llaniladi.

1993-yilda Rossiyaning ABBYY kompaniyasi matnni tanib olish texnologiyasini taqdim etdi. Uning asosida korxonalar va keng foydalanuvchilar uchun bir qator yechim hamda dasturlar yaratildi. Jumladan, matnni tanib olishga mo‘ljallangan ABBYY FineReader dasturi, mobil qurilmalarda matnli axborotni tanib oladigan ilovalar va hujjatlar hamda ma’lumotlarni oqimli kiritish tizimi — ABBYY FlexiCapture shular jumlasidandir. ABBYY OCR matnni tanib olish texnologiyalaridan litsenziya asosida foydalanadigan xalqaro IT kompaniyalari orasida Fujitsu, Panasonic, Xerox, Samsung, EMC va boshqalar bor.

Matnni optik tanib olish texnologiyasining hozirgi holati

Bosma matndagi lotin yozuvi belgilarini aniq tanib olish hozirda faqat skanerlangan bosma hujjatlar kabi tiniq tasvirlar mavjud bo‘lgandagina mumkin. Bunday sharoitda aniqlik 99 % dan oshadi, biroq mutlaq aniqlikka faqat odamning keyingi tahriri orqali erishish mumkin. Qo‘lda alohida harflar bilan yozilgan matnni, odatiy qo‘lyozma matnni va boshqa formatlardagi bosma matnlarni (ayniqsa, belgilar soni juda ko‘p bo‘lganlarini) tanib olish muammolari hozir ham faol o‘rganilmoqda.

Usullarning aniqligi turli yo‘llar bilan o‘lchanishi mumkin, shuning uchun baholar sezilarli farq qiladi. Masalan, dasturiy ta’minot lug‘atida bo‘lmagan maxsus atama uchrasa, mavjud bo‘lmagan so‘zlarni aniqlash jarayonida xatolik darajasi oshishi mumkin.

Belgilarni onlayn tanib olish ba’zan belgilarni optik tanib olish bilan adashtiriladi. Optik tanib olish matnning statik ko‘rinishi bilan ishlaydigan oflayn usuldir, onlayn tanib olish esa yozish paytidagi harakatlarni ham hisobga oladi. Masalan, PenPoint OS yoki planshet kompyuteridan foydalanadigan onlayn tizim matn satri qaysi tomonga — o‘ngdan chapgami yoki chapdan o‘nggami — yozilayotganini aniqlay oladi.

Qo‘lyozma matnni yozish jarayonining o‘zida («jonli») taniydigan onlayn tizimlar so‘nggi vaqtlarda tijoriy mahsulot sifatida keng tanildi. Bunday qurilmalar algoritmlari chiziqlarni chizish tartibi, tezligi va yo‘nalishi ma’lumligidan foydalanadi. Bundan tashqari, foydalanuvchi ma’lum yozish shakllaridan foydalanishni o‘rganadi. Bu usullar skanerlangan qog‘oz hujjatlar bilan ishlaydigan dasturlarga mos kelmaydi. Shu sababli harflar alohida yozilgan qo‘lyozma matnni tanib olish muammosi hamon to‘liq hal etilmagan. Nuqsonlarsiz tasvirlangan shunday matnlarda 80 %–90 % aniqlikka erishish mumkin, ammo bu aniqlikda ham har bir sahifada o‘nlab xatolar yuzaga keladi. Bunday texnologiya faqat juda cheklangan turdagi ilovalarda foydali bo‘lishi mumkin.

Keng tadqiq qilinayotgan yana bir masala — qo‘lyozma matnni tanib olish. Hozir erishilgan aniqlik hatto harflari alohida yozilgan qo‘lyozma matnnikidan ham past. Yuqoriroq natijalarga faqat kontekst va grammatik ma’lumotlardan foydalanish orqali erishish mumkin. Masalan, tanib olish jarayonida matndan alohida belgilarni aniqlashga urinishdan ko‘ra, lug‘atdan butun so‘zlarni izlash osonroq. Til grammatikasini bilish ham so‘zning fe’l yoki ot ekanini aniqlashga yordam beradi. Ba’zan alohida qo‘lyozma belgilarning shakli butun qo‘lyozma matnni aniq (98 % dan yuqori) tanib olish uchun yetarli axborotni bermaydi.

Murakkabroq tanib olish masalalarini hal qilishda, odatda, quyidagi kabi intellektual tanib olish tizimlari qo‘llaniladi: sun’iy neyron tarmoqlar.

Matnni tanib olish tizimlarini kalibrlash uchun qo‘lda yozilgan raqamlar tasvirlaridan tashkil topgan standart MNIST ma’lumotlar bazasi yaratilgan.

Havolalar