Ma’lumotlardan bilimlarni ajratib olish (Data Mining)

Ma’lumotlarni intellektual tahlil qilish (Data mining) (rus. ma’lumotlarni qazib olish, ma’lumotlarni intellektual tahlil qilish, ma’lumotlarni chuqur tahlil qilish) — inson faoliyatining turli sohalarida qaror qabul qilish uchun zarur bo‘lgan, ma’lumotlar ichidan ilgari noma’lum, oddiy bo‘lmagan, amaliy jihatdan foydali hamda talqin qilish mumkin bo‘lgan bilimlarni aniqlash usullari majmuasini ifodalovchi umumiy atamadir. Bu atama Grigoriy Pyatetskiy-Shapiro[ingl.] tomonidan 1989-yilda ilmiy muomalaga kiritilgan.

Ingliz tilidagi «data mining» iborasining rus tilida hozircha umumqabul qilingan yagona tarjimasi yo‘q. Rus tilida uni ifodalash uchun quyidagi iboralar qo‘llanadi: axborotni saralash, ma’lumotlarni qazib olish, ma’lumotlarni ajratib olish, shuningdek, ma’lumotlarni intellektual tahlil qilish. Yanada to‘liq va aniqroq ifoda — «bilimlarni ma’lumotlar bazalaridan aniqlash» (ingl. knowledge discovery in databases, KDD).

Ma’lumotlarni intellektual tahlil qilish usullarining asosini turli tasniflash, modellashtirish va prognozlash usullari tashkil qiladi. Ular qarorlar daraxtlari, sun’iy neyron tarmoqlar, genetik algoritmlar, evolyutsion dasturlash, assotsiativ xotira, noaniq mantiq kabi yondashuvlarga asoslanadi. Ma’lumotlarni intellektual tahlil qilish usullariga ko‘pincha statistik usullar (korrelyatsion va regression tahlil, omilli tahlil, dispersion tahlil, komponentli tahlil, diskriminant tahlil, vaqt qatorlari tahlili, yashovchanlik tahlili, bog‘lanishlar tahlili) ham kiritiladi. Biroq bunday usullar tahlil qilinayotgan ma’lumotlar haqida oldindan muayyan tasavvurga ega bo‘lishni talab qiladi, bu esa ma’lumotlarni intellektual tahlil qilish (ilgari noma’lum, oddiy bo‘lmagan va amaliy jihatdan foydali bilimlarni aniqlash) maqsadiga biroz zid keladi.

Ma’lumotlarni intellektual tahlil qilish usullarining eng muhim vazifalaridan biri hisoblash natijalarini ko‘rgazmali shaklda taqdim etish (vizuallashtirish)dir. Bu maxsus matematik tayyorgarligi bo‘lmagan kishilarga ham ushbu tahlil vositalaridan foydalanish imkonini beradi.

Ma’lumotlarni tahlil qilishning statistik usullaridan foydalanish ehtimollar nazariyasini va matematik statistikani chuqur bilishni talab etadi.

Kirish

Ma’lumotlarni intellektual tahlil qilish (yoki shu ma’nodagi knowledge discovery in data, qisqacha KDD) usullari quyidagi ikki soha kesishmasida joylashgan: statistika va sun’iy intellekt.

Tarixiy ma’lumot

Ma’lumotlarni intellektual tahlil qilish sohasi 1989-yilda Grigoriy Pyatetskiy-Shapiro o‘tkazgan seminardan boshlangan.

Bundan avval GTE Labs kompaniyasida ishlagan Grigoriy Pyatetskiy-Shapiro yirik ma’lumotlar bazalariga yuboriladigan ayrim so‘rovlarni tezlashtirish uchun ma’lum qoidalarni avtomatik aniqlash mumkinmi, degan savolga qiziqib qolgan. O‘sha paytda ikkita atama taklif qilingan: data mining («ma’lumotlarni qazib olish») va knowledge discovery in data (uni «ma’lumotlar bazalarida bilimlarni kashf etish» deb tarjima qilish lozim).

1993-yilda «Knowledge Discovery Nuggets» nomli ilk elektron xabarlar tarqatmasi chiqdi, 1994-yilda esa ma’lumotlarni intellektual tahlil qilishga oid dastlabki veb-saytlardan biri yaratildi.

Masalaning qo‘yilishi

Dastlab masala quyidagicha qo‘yiladi:

  • yetarlicha katta ma’lumotlar bazasi mavjud;
  • ma’lumotlar bazasida qandaydir «yashirin bilimlar» mavjud deb taxmin qilinadi.

Dastlabki «xom» ma’lumotlarning katta hajmida yashiringan bilimlarni aniqlash usullarini ishlab chiqish kerak. Hozirgi global raqobat sharoitida aynan topilgan qonuniyatlar (bilimlar) qo‘shimcha raqobat ustunligining manbai bo‘lishi mumkin.

«Yashirin bilimlar» deganda nima tushuniladi? Bunday bilimlar quyidagi xususiyatlarga ega bo‘lishi shart:

  • ilgari noma’lum bo‘lishi — ya’ni yangi bilim bo‘lishi (oldin olingan ma’lumotlarni shunchaki tasdiqlamasligi);
  • oddiy bo‘lmasligi — ya’ni ma’lumotlarni bevosita ko‘zdan kechirish yoki sodda statistik ko‘rsatkichlarni hisoblash orqali oson aniqlanmasligi;
  • amaliy jihatdan foydali bo‘lishi — ya’ni tadqiqotchi yoki foydalanuvchi uchun qimmatli bo‘lishi;
  • talqin qilish mumkin bo‘lishi — ya’ni foydalanuvchiga tushunarli, ko‘rgazmali shaklda ifodalash va tegishli fan yoki faoliyat sohasi atamalari bilan oson izohlash mumkin bo‘lishi.

Bu talablar ma’lumotlarni intellektual tahlil qilish usullarining mohiyatini hamda ushbu texnologiyada ma’lumotlar bazalarini boshqarish tizimlari, statistik tahlil usullari va sun’iy intellekt usullari qanday shaklda hamda qanday nisbatda qo‘llanishini ko‘p jihatdan belgilaydi.

Ma’lumotlarni intellektual tahlil qilish va ma’lumotlar bazalari

Ma’lumotlarni intellektual tahlil qilish usullari katta ma’lumotlar bilan ishlashda ham, masalan, alohida tajribalar natijasida yoki tashkilotlar faoliyatini tahlil qilishda olingan nisbatan kichik hajmdagi ma’lumotlarni qayta ishlashda ham qo‘llanishi mumkin. Ma’lumotlar hajmining yetarliligi tadqiqot sohasi va qo‘llanadigan tahlil algoritmiga qarab baholanadi.

Ma’lumotlar bazasi texnologiyalarining rivojlanishi dastlab maxsus til — ma’lumotlar bazasiga so‘rovlar yuborish tilining yaratilishiga olib keldi. Relyatsion ma’lumotlar bazalari uchun bu — SQL tili bo‘lib, u saqlanayotgan ma’lumotlarni yaratish, o‘zgartirish va ajratib olish uchun keng imkoniyatlar berdi. Keyinchalik tahliliy axborot (masalan, korxonaning ma’lum davrdagi faoliyati haqidagi axborot) olish zarurati tug‘ildi. Shunda korxonada kundalik operativ hisob yuritishga yaxshi moslashgan an’anaviy relyatsion ma’lumotlar bazalari tahlil o‘tkazish uchun unchalik mos emasligi ma’lum bo‘ldi. Bu, o‘z navbatida, «ma’lumotlar omborlari» deb ataladigan tizimlarning yaratilishiga olib keldi. Ularning tuzilishi har tomonlama matematik tahlil o‘tkazish uchun eng qulay qilib tashkil etilgan.

Ma’lumotlarni intellektual tahlil qilish va sun’iy intellekt

Ma’lumotlarni intellektual tahlil qilish usullari yordamida olingan bilimlar odatda qonuniyatlar (patternlar) shaklida ifodalanadi. Bunday qonuniyatlarga quyidagilar kiradi:

Bunday qonuniyatlarni qidirish algoritmlari quyidagi sohalar kesishmasida joylashgan: sun’iy intellekt, matematik statistika, matematik dasturlash, vizuallashtirish, OLAP.

Ma’lumotlarni intellektual tahlil qilish va biznes

Jumladan, IBM kompaniyasining fikricha, «katta ma’lumotlar»ni qayta ishlash — «foydali g‘oyalarni ishlab chiqish yoki yuqori qiymatga ega mahsulot va xizmatlarni yaratish uchun axborotdan yangicha foydalanish qobiliyati»dir. Bu ta’rif katta ma’lumotlarni analitikaning bir turi sifatida talqin etadi, chunki ular bilan ishlash raqobat ustunligini ta’minlay oladigan foydali ma’lumotlarni ajratib olishga qaratilgan.

Vazifalar

Ma’lumotlarni intellektual tahlil qilish orqali hal etiladigan vazifalar ikki turga bo‘linadi: tavsiflovchi (ingl. descriptive) va bashoratlovchi (ingl. predictive).

Tavsiflovchi vazifalarda eng muhimi mavjud yashirin qonuniyatlarni ko‘rgazmali tarzda tasvirlab berishdir. Bashoratlovchi vazifalarda esa hali ma’lumotlar mavjud bo‘lmagan holatlar uchun prognoz tuzish masalasi birinchi o‘ringa chiqadi.

Tavsiflovchi vazifalarga quyidagilar kiradi:

  • assotsiativ qoidalar yoki patternlar (namunalar)ni qidirish;
  • obyektlarni guruhlash, klaster tahlili;
  • regression model tuzish.

Bashoratlovchi vazifalarga quyidagilar kiradi:

  • obyektlarni tasniflash (oldindan belgilangan sinflarga ajratish);
  • regression tahlil, vaqt qatorlari tahlili.

Bashoratli tahlil sohasidagi zamonaviy tadqiqotlar qatoriga isroillik sun’iy intellekt mutaxassisi Kira Radinskining ishlari kiradi. U Erik Horvits bilan birgalikda tarixiy va internet tarmog‘i ma’lumotlarini tahlil qilish asosida ijtimoiy, tabiiy va epidemiologik hodisalarni prognozlash usullarini ishlab chiqqan. Xususan, ishlab chiqilgan modellar xolera kasalligining Kubada tarqalishini 150 yildan ortiq tarixiy ma’lumotlardan foydalanib prognozlash uchun qo‘llangan.

O‘qitish algoritmlari

Tasniflash vazifalariga «o‘qituvchi bilan o‘qitish» xos bo‘lib, unda model kirish va chiqish vektorlari mavjud bo‘lgan tanlanma asosida tuziladi (o‘qitiladi).

Klasterlash va assotsiatsiya vazifalarida «o‘qituvchisiz o‘qitish» qo‘llanadi. Bunda model chiqish parametri bo‘lmagan tanlanma asosida tuziladi. Chiqish parametrining qiymati («... klasterga kiradi», «... vektorga o‘xshaydi») o‘qitish jarayonida avtomatik aniqlanadi.

Tavsif hajmini qisqartirish vazifalarida kirish va chiqish vektorlariga ajratish bo‘lmaydi. K. Pirsonning bosh komponentlar usuli haqidagi klassik ishlaridan boshlab, asosiy e’tibor ma’lumotlarni approksimatsiya qilishga qaratiladi.

O‘qitish bosqichlari

Ma’lumotlarni intellektual tahlil qilish usullari yordamida masalalarni hal etishning odatiy jarayoni quyidagi bosqichlarni o‘z ichiga oladi:

  1. Tahlil masalasini qo‘yish va tadqiqot maqsadlarini aniqlash;
  2. Dastlabki ma’lumotlarni yig‘ish va birlashtirish;
  3. Ma’lumotlarni tayyorlash (tozalash, filtrlash, to‘ldirish, belgilarni kodlash va o‘zgartirish);
  4. Ma’lumotlarni tahlil qilish modeli va usulini tanlash;
  5. Model parametrlarini va o‘qitish algoritmini sozlash;
  6. Modelni o‘qitish va ichki parametrlarni avtomatik tanlash;
  7. Olingan model sifatini baholash; natijalar qoniqarsiz bo‘lsa, model tanlash yoki parametrlarni sozlash bosqichiga qaytish;
  8. Aniqlangan qonuniyatlarni talqin qilish va natijalarning amaliy asoslanganligini tekshirish; zarur bo‘lsa, masalani qayta qo‘yish yoki dastlabki ma’lumotlarga tuzatish kiritish.

Ma’lumotlarni tayyorlash

Ma’lumotlarni intellektual tahlil qilish algoritmlarini qo‘llashdan avval tahlil qilinadigan ma’lumotlar to‘plamini tayyorlash zarur. Bu tahlil faqat ma’lumotlarda haqiqatda mavjud qonuniyatlarni topa olgani sababli dastlabki ma’lumotlar, bir tomondan, bunday qonuniyatlarni o‘z ichiga oladigan darajada katta, ikkinchi tomondan esa, tahlil qilish uchun maqbul vaqt talab etadigan darajada ixcham bo‘lishi kerak. Dastlabki ma’lumotlar sifatida ko‘pincha ma’lumotlar omborlari yoki ma’lumotlar vitrinlari ishlatiladi. Ko‘p o‘lchamli ma’lumotlarni klasterlash yoki intellektual tahlil qilishdan oldin tayyorlash talab etiladi.

Keyin ma’lumotlar filtrlanadi. Filtrlash shovqinli va yetishmaydigan ma’lumotlari bor kuzatuvlarni olib tashlaydi.

Filtrlangan ma’lumotlar belgilar to‘plamlariga (yoki algoritm faqat belgilangan o‘lchamdagi vektorlar bilan ishlay olsa, vektorlarga) aylantiriladi: har bir kuzatuvga bittadan belgilar to‘plami to‘g‘ri keladi. Belgilar to‘plami xom ma’lumotlarning qaysi belgilari ularni qayta ishlash uchun talab qilinadigan hisoblash quvvatiga nisbatan yuqori bashoratlash imkoniyatiga ega ekanligi haqidagi farazlar asosida tuziladi. Masalan, o‘lchami 100×100 piksel bo‘lgan oq-qora yuz tasviri 10 ming bit xom ma’lumotdan iborat. Tasvirdagi ko‘z va og‘izni aniqlash orqali ularni belgilar vektoriga aylantirish mumkin. Natijada ma’lumotlar hajmi 10 ming bitdan joylashuv kodlari ro‘yxatigacha qisqaradi, bu esa tahlil qilinadigan ma’lumotlar hajmi va tahlil vaqtini sezilarli kamaytiradi.

Ayrim algoritmlar bashorat uchun ahamiyatli bo‘lgan yetishmaydigan ma’lumotlarni ham qayta ishlay oladi (masalan, mijozning ma’lum turdagi mahsulotlarni xarid qilmagani). Masalan, assotsiativ qoidalar usuli qo‘llanganda belgilar vektorlari emas, balki o‘lchami o‘zgaruvchan to‘plamlar qayta ishlanadi.

Maqsad funksiyasini tanlash tahlilning maqsadiga bog‘liq. «To‘g‘ri» funksiyani tanlash ma’lumotlarni muvaffaqiyatli intellektual tahlil qilishda hal qiluvchi ahamiyatga ega.

Kuzatuvlar ikki toifaga — o‘qitish va sinov to‘plamlariga bo‘linadi. O‘qitish to‘plami ma’lumotlarni intellektual tahlil qilish algoritmini «o‘qitish», sinov to‘plami esa aniqlangan qonuniyatlarni tekshirish uchun ishlatiladi.

Adabiyotlar

  • Paklin N. B., Oreshkov V. I. Biznes-tahlil: ma’lumotlardan bilimlargacha (+ CD). — Sankt-Peterburg: Piter nashriyoti, 2009. — 624 bet
  • Dyuk V., Samoylenko A. Data Mining: o‘quv kursi (+ CD). — Sankt-Peterburg: Piter nashriyoti, 2001. — 368 bet
  • Juravlyov Yu. I., Ryazanov V. V., Senko O. V. TANIB OLISH. Matematik usullar. Dasturiy tizim. Amaliy qo‘llanishlar. — Moskva: Fazis nashriyoti, 2006. — 176 bet — ISBN 5-7036-0108-8.
  • Chubukova I. A. Data Mining: o‘quv qo‘llanma. — Moskva: Axborot texnologiyalari internet-universiteti: BINOM: Bilimlar laboratoriyasi, 2006. — 382 bet — ISBN 5-9556-0064-7.
  • Sitnik V. F., Krasnyuk M. T. Ma’lumotlarni intellektual tahlil qilish (deytamayning): o‘quv qo‘llanma. — Kiyev: KNEU, 2007. — 376 bet.
  • Ian H. Vitten, Aybe Frank va Mark A. Holl. Ma’lumotlarni intellektual tahlil qilish: mashinali o‘qitishning amaliy vositalari va usullari (Data Mining: Practical Machine Learning Tools and Techniques). — 3-nashr. — Morgan Kaufmann, 2011. — bet 664. — ISBN 9780123748560.
  • Deyv Millner, Nadim Xon. HR-analitika. Katta ma’lumotlarga asoslangan xodimlar bilan ishlash bo‘yicha amaliy qo‘llanma = Kadrlar analitikasiga kirish: ma’lumotlarga asoslangan inson resurslarini boshqarish bo‘yicha amaliy qo‘llanma (Introduction to People Analytics: A practical guide to data-driven HR). — Moskva: Alpina Pablisher , 2022. — 384 bet — ISBN 978-5-9614-7831-0.
  • Orlov A. I. Sun’iy intellekt: ma’lumotlarni tahlil qilishning statistik usullari : darslik. — Moskva: Ay Pi Ar Media, 2022. — 843 bet. — ISBN 978-5-4497-1470-1
  • Orlov A. I., Lutsenko Ye. V. Tizimli noaniq intervalli matematikada ma’lumotlar, axborot va bilimlarni tahlil qilish: ilmiy monografiya. — Krasnodar: Kuban davlat agrar universiteti, 2022. — 405 bet.
  • A. A. Barsegyan, M. S. Kupriyanov, V. V. Stepanenko, I. I. Xolod. — Ma’lumotlarni tahlil qilish usullari va modellari: OLAP va Data Mining. — Sankt-Peterburg: BXV-Peterburg, 2004. — 336 bet.
  • A. A. Barsegyan, M. S. Kupriyanov, V. V. Stepanenko, I. I. Xolod. — Ma’lumotlarni tahlil qilish texnologiyalari: Data Mining, Visual Mining, Text Mining, OLAP. 2-nashr. — Sankt-Peterburg: BXV-Peterburg, 2007. — 384 bet.
  • A. A. Barsegyan, M. S. Kupriyanov, I. I. Xolod, M. D. Tess, S. I. Yelizarov. — Ma’lumotlar va jarayonlarni tahlil qilish: o‘quv qo‘llanma. 3-nashr. — Sankt-Peterburg: BXV-Peterburg, 2009. — 512 bet.

Havolalar