Katta ma’lumotlar (ingl. big data, [ˈbɪɡ ˈdeɪtə]) — juda katta hajmdagi, xilma-xil tuzilmali va tuzilmasiz ma’lumotlarni anglatadigan atama. Bunday ma’lumotlar gorizontal miqyoslanadigan dasturiy vositalar yordamida samarali qayta ishlanadi. Bu vositalar 2000-yillarning oxirida paydo bo‘lib, an’anaviy ma’lumotlar bazasini boshqarish tizimlari va biznes tahlili (Business Intelligence) yechimlariga muqobil hisoblanadi.
Keng ma’noda «katta ma’lumotlar» deganda nihoyatda ulkan ma’lumotlar to‘plamlarini, ayrim sohalarda esa dunyodagi barcha ma’lumotlarni tahlil qilish imkonini beruvchi texnologiyalarning paydo bo‘lishi va buning natijasida yuz beradigan tub o‘zgarishlar bilan bog‘liq ijtimoiy-iqtisodiy hodisa tushuniladi.
Katta ma’lumotlarning asosiy xususiyatlari sifatida odatda «uchta V» ajratiladi: hajm (ingl. volume, ya’ni ma’lumotlarning fizik hajmi), tezlik (velocity, ya’ni ma’lumotlar ko‘payishining tezligi hamda ularni tezkor qayta ishlash va natija olish zarurati), xilma-xillik (variety, ya’ni turli shakldagi tuzilmali va yarim tuzilmali ma’lumotlarni bir vaqtda qayta ishlash imkoniyati). Keyinchalik bu xususiyat turlicha talqin qilinib, uning yangi variantlari paydo bo‘ldi.
Axborot texnologiyalari nuqtayi nazaridan, katta ma’lumotlar bilan ishlash yondashuvlari va vositalari dastlab, avvalo, ommaviy parallel usulda tuzilishi aniq belgilanmagan ma’lumotlarni qayta ishlash vositalarini, xususan, NoSQL turidagi ma’lumotlar bazasini boshqarish tizimlarini, MapReduce algoritmlarini hamda ularni amalga oshiruvchi Hadoop loyihasining dasturiy karkaslari va kutubxonalarini qamrab olgan. Keyinchalik katta ma’lumotlar texnologiyalari qatoriga nihoyatda yirik ma’lumotlar majmualarini qayta ishlash bo‘yicha shunga o‘xshash imkoniyatlarni ma’lum darajada ta’minlaydigan turli axborot-texnologik yechimlar ham kiritila boshlandi.

— 2002-yil analog va raqamli ma’lumotlarning jahon miqyosidagi hajmlari nisbati raqamli ma’lumotlar foydasiga o‘zgargan burilish yili bo‘ldi; raqamli ma’lumotlar hajmi geometrik progressiya bo‘yicha (juda tez) o‘sa boshladi;
— 2007-yilga kelib raqamli ma’lumotlar hajmi analog ma’lumotlar hajmidan deyarli 15 baravar oshib, 280 eksabayt raqamli ma’lumotga nisbatan 19 eksabayt analog ma’lumotni tashkil etdi.
Tarix
«Katta ma’lumotlar» atamasining keng qo‘llanila boshlashi Klifford Linch — Nature jurnali muharriri bilan bog‘liq. U 3-sentabr 2008-yilda quyidagi mavzuga bag‘ishlangan maxsus sonni tayyorladi: «Katta hajmdagi ma’lumotlar bilan ishlash imkonini beruvchi texnologiyalar ilm-fan kelajagiga qanday ta’sir ko‘rsatishi mumkin?», unda qayta ishlanayotgan ma’lumotlar hajmi va xilma-xilligining keskin ortishi, shuningdek, «miqdordan sifatga» o‘tish ehtimoli nuqtayi nazaridan texnologik istiqbollar yoritilgan. Atama ingliz tilidagi biznes muhitida keng tarqalgan «katta neft», «katta ruda».
Atama ilmiy muhitda paydo bo‘lib, dastlab ilmiy ma’lumotlar hajmi va xilma-xilligining o‘sishi muammosiga qaratilganiga qaramay, 2009-yildan boshlab biznes matbuotida keng tarqaldi. 2010-yilga kelib esa katta ma’lumotlarni qayta ishlashga qaratilgan ilk mahsulot va yechimlar paydo bo‘ldi[mavhum ibora]. 2011-yilga kelib korxonalar uchun axborot texnologiyalarini yetkazib beruvchi eng yirik kompaniyalarning aksariyati katta ma’lumotlar tushunchasini o‘z biznes strategiyasida qo‘llay boshladi. Jumladan, IBM, Oracle, Microsoft, Hewlett-Packard, EMC kompaniyalari, shuningdek, axborot texnologiyalari bozorining yetakchi tahlilchilari ushbu konsepsiyaga alohida tadqiqotlar bag‘ishladi.
2011-yilda Gartner katta ma’lumotlarni axborot-texnologiya infratuzilmasidagi ikkinchi eng muhim yo‘nalish deb baholadi (birinchi o‘rinda virtuallashtirish turadi; katta ma’lumotlar energiya tejash va monitoringdan muhimroq deb baholangan). O‘sha davrda katta ma’lumotlar texnologiyalarining joriy etilishi ishlab chiqarish, sog‘liqni saqlash, savdo, davlat boshqaruvi, shuningdek, resurslarning alohida harakatlari qayd etiladigan boshqa soha va tarmoqlardagi axborot texnologiyalariga eng katta ta’sir ko‘rsatishi taxmin qilingan.
2013-yildan boshlab katta ma’lumotlar oliy ta’lim muassasalarida paydo bo‘lgan ma’lumotlar haqidagi fan (data science) hamda hisoblash fanlari va muhandislik yo‘nalishlari dasturlarida alohida o‘quv predmeti sifatida o‘rganila boshlandi.
2015-yilda Gartner katta ma’lumotlarni yangi texnologiyalarning yetuklik siklidan chiqarib tashladi va 2011—2014-yillarda chop etib kelingan katta ma’lumotlar texnologiyalari uchun alohida yetuklik siklini e’lon qilishni to‘xtatdi. Bunga shov-shuv bosqichidan amaliy qo‘llash bosqichiga o‘tilgani sabab qilib ko‘rsatildi. Alohida yetuklik siklida qayd etilgan texnologiyalarning aksariyati ilg‘or tahlil va ma’lumotlar haqidagi fan, biznes tahlili (BI) va ma’lumotlarni tahlil qilish, korporativ axborotni boshqarish, operativ xotirada hisoblash hamda axborot infratuzilmasiga oid maxsus sikllarga o‘tkazildi.
VVV
Belgilar to‘plami VVV (volume, velocity, variety) dastlab 2001-yilda Meta Group tomonidan katta ma’lumotlarni ma’lum axborot-texnologik usullar va vositalar majmuasi sifatida tushunishdan mustaqil ravishda ishlab chiqilgan. Tashkilotlar uchun markazlashgan ma’lumotlar ombori konsepsiyasi ommalashib borayotgan sharoitda, ushbu yondashuv ma’lumotlarni boshqarishning uchala jihati ham birdek muhim ekanini ta’kidlagan. Keyinchalik «to‘rtta V» (bunga veracity — ishonchlilik qo‘shilgan; bu talqin IBM reklama materiallarida qo‘llangan), «beshta V» (unda viability — hayotiylik va value — qiymat qo‘shilgan), hatto «yettita V» (bulardan tashqari variability — o‘zgaruvchanlik va visualization — vizuallashtirish). IDC «to‘rtinchi V»ni value, ya’ni tegishli sharoitlarda ma’lumotlarning muayyan hajmini qayta ishlash iqtisodiy jihatdan qay darajada maqsadga muvofiqligi sifatida talqin qiladi. Bu IDC tomonidan berilgan katta ma’lumotlar ta’rifida ham aks etgan. Barcha talqinlarda katta ma’lumotlarning belgilovchi xususiyati faqat fizik hajm emasligi, balki ma’lumotlarni qayta ishlash va tahlil qilish vazifasining murakkabligini ifodalovchi boshqa jihatlar ham muhimligi ta’kidlanadi.
Manbalar
Katta ma’lumotlarning klassik manbalari sifatida narsalar interneti (Internet of Things) va ijtimoiy media e’tirof etiladi. Shuningdek, katta ma’lumotlar korxona va tashkilotlarning ichki axborotidan (axborot muhitida hosil bo‘ladigan, biroq ilgari saqlanmagan va tahlil qilinmagan ma’lumotlar), tibbiyot hamda bioinformatika sohalaridan, shuningdek, astronomik kuzatuvlardan olinishi mumkin deb hisoblanadi.
Katta ma’lumotlar manbalariga misol sifatida o‘lchash qurilmalaridan uzluksiz keladigan ma’lumotlar, radiochastotali identifikatorlar orqali qayd etiladigan hodisalar, xabarlar oqimini hosil qiluvchi ijtimoiy tarmoqlar, meteorologik ma’lumotlar, Yerni masofadan zondlash ma’lumotlari, joylashuv ma’lumotlarini uzatuvchi uyali aloqa tarmoqlari abonentlarining ma’lumotlari, audio- va videoqayd qurilmalaridan olinadigan ma’lumotlar kiradi. Ushbu manbalarning rivojlanishi va keng qo‘llanila boshlashi katta ma’lumotlar texnologiyalarining ilmiy-tadqiqot faoliyatiga, tijorat sektoriga va davlat boshqaruviga kirib borishini jadallashtirishi kutilmoqda.
Tahlil usullari
Katta ma’lumotlarni tahlil qilishda qo‘llanadigan usullar va texnikalar (manba: McKinsey):
- ma’lumotlardan bilim ajratib olish (Data Mining) usullari: assotsiativ qoidalarni o‘rganish (ingl. association rule learning), tasniflash (ilgari mavjud ma’lumotlarga qo‘llangan tamoyillar asosida yangi ma’lumotlarni toifalarga ajratish usullari), klasterli tahlil, regressiya tahlili;
- kraudsorsing (crowdsourcing) — ommaviy taklif asosida, mehnat munosabatlariga kirmagan keng va oldindan belgilanmagan ishtirokchilar doirasi yordamida ma’lumotlarni toifalash va boyitish;
- ma’lumotlarni birlashtirish va integratsiyalash (ingl. data fusion and integration) — chuqur tahlil qilish uchun turli manbalardan olingan turlicha ma’lumotlarni yagona tizimga keltirishga imkon beruvchi usullar majmuasi; bunday usullarga misol sifatida signallarga raqamli ishlov berish va tabiiy tilni qayta ishlash (jumladan, hissiy ohangni tahlil qilish (sentiment analysis));
- mashinaviy o‘rganish, jumladan, nazoratli o‘rganish va nazoratsiz o‘rganish, shuningdek, ansamblli o‘rganish (Ensemble learning) — statistik tahlil yoki mashinaviy o‘rganish asosida yaratilgan modellardan foydalanib, boshlang‘ich modellar (ingl. constituent models; statistik mexanikadagi statistik ansambl bilan taqqoslang) asosida kompleks prognozlar olish;
- sun’iy neyron tarmoqlar, tarmoq tahlili, optimallashtirish, jumladan, genetik algoritmlar;
- obrazlarni tanib olish;
- bashoratli tahlil (predictive analytics);
- imitatsion modellashtirish;
- fazoviy tahlil (ingl. Spatial analysis) — ma’lumotlardagi topologik, geometrik va geografik axborotdan foydalanadigan usullar toifasi;
- statistik tahlil, jumladan, A/B sinovi va vaqt qatorlari tahlili;
- tahliliy ma’lumotlarni vizuallashtirish — natijalarni olish hamda keyingi tahlil uchun boshlang‘ich ma’lumot sifatida foydalanish maqsadida axborotni rasmlar, diagrammalar, interaktiv vositalar va animatsiyalar ko‘rinishida taqdim etish.
Texnologiyalar
Katta ma’lumotlarni qayta ishlashning asosiy tamoyili sifatida ko‘pincha gorizontal miqyoslash, bu tamoyil yuzlab va minglab hisoblash tugunlariga taqsimlangan ma’lumotlarni unumdorlik pasaymasdan qayta ishlash imkonini beradi. Uni NIST ham o‘zining katta ma’lumotlarga bergan ta’rifiga kiritgan. Shu bilan birga, McKinsey NoSQL, MapReduce, Hadoop va R kabi aksariyat tahlilchilar ko‘rib chiqadigan texnologiyalardan tashqari, katta ma’lumotlarni qayta ishlash yechimlari qatoriga biznes tahlili (Business Intelligence) va relyatsion ma’lumotlar bazasini boshqarish tizimlarini, xususan, SQL tilini qo‘llab-quvvatlaydigan tizimlarni ham kiritadi.
NoSQL
MapReduce
Hadoop
R
Apparat yechimlari
Katta ma’lumotlarni qayta ishlash uchun oldindan sozlangan yechimlarni taqdim etuvchi bir qator apparat-dasturiy majmualar mavjud: Aster MapReduce appliance (korporatsiya Teradata), Oracle Big Data appliance, Greenplum appliance (korporatsiya EMC, uning tarkibiga qo‘shib olingan Greenplum kompaniyasining yechimlari asosida). Bu majmualar ma’lumotlarni qayta ishlash markazlariga o‘rnatishga tayyor telekommunikatsiya shkaflari bo‘lib, ular serverlar klasteri va ommaviy parallel qayta ishlashni boshqaruvchi dasturiy ta’minotni o‘z ichiga oladi.
Ma’lumotlarni operativ xotirada hisoblash uchun, avvalo, operativ xotiradagi ma’lumotlar bazalari va operativ xotiradagi tahlil uchun mo‘ljallangan apparat yechimlari, jumladan, apparat-dasturiy majmualar Hana (SAP kompaniyasining oldindan sozlangan apparat-dasturiy yechimi) va Exalytics (Oracle kompaniyasining Timesten[ingl.] relyatsion tizimi hamda ko‘p o‘lchovli Essbase tizimiga asoslangan majmuasi) ham ba’zan katta ma’lumotlar yechimlariga kiritiladi. Vaholanki, bunday qayta ishlash dastlabdan ommaviy parallel usulda amalga oshirilmaydi va bitta tugunning operativ xotirasi bir necha terabayt bilan cheklangan.
Bundan tashqari, ba’zan an’anaviy relyatsion ma’lumotlar bazasini boshqarish tizimlari — Netezza, Teradata, Exadata asosidagi apparat-dasturiy majmualar ham katta ma’lumotlar yechimlari qatoriga kiritiladi, chunki ular tuzilmali ma’lumotlarning terabaytlar va eksabaytlar bilan o‘lchanadigan hajmlarini samarali qayta ishlab, ulkan hajmdagi tuzilmali ma’lumotlarni tezkor izlash va tahlil qilish vazifalarini bajarishi mumkin. Juda katta hajmdagi ma’lumotlar uchun ilk ommaviy parallel apparat-dasturiy yechimlar Britton Li (Britton Lee)[ingl.] kompaniyasining dastlab 1983-yilda ishlab chiqarilgan mashinalari hamda Teradata (ishlab chiqarilishi 1984-yilda boshlangan) mashinalari bo‘lgani qayd etiladi. Shu bilan birga, 1990-yilda Teradata kompaniyasi Britton Lee’ni sotib olgan.
Ma’lumotlarni saqlashga mo‘ljallangan apparat yechimi DAS — hisoblash tugunlariga bevosita ulangan ma’lumot saqlash tizimlari — SN arxitekturasida qayta ishlash tugunlari bir-biridan mustaqil bo‘lgani sababli ba’zan katta ma’lumotlar texnologiyalariga ham kiritiladi. Aynan katta ma’lumotlar konsepsiyasi paydo bo‘lishi 2010-yillarning boshlarida DAS yechimlariga qiziqish yana ortganini ko‘rsatadi. Bundan oldin, 2000-yillarda ularning o‘rnini tarmoqqa asoslangan NAS va SAN turidagi yechimlar egallagan edi.
Adabiyotlar
- Min Chen, Shiven Mao, Yin Chjan, Viktor C. M. Lyong. Katta ma’lumotlar. Turdosh texnologiyalar, muammolar va kelajak istiqbollari (Big Data. Related Technologies, Challenges, and Future Prospects). — Spinger, 2014. — 100 b. — ISBN 978-3-319-06244-0. — doi:10.1007/978-3-319-06245-7.
- Viktor Mayer-Shenberger, Kennet Kukyer. Katta ma’lumotlar. Qanday yashashimiz, ishlashimiz va fikrlashimizni o‘zgartiradigan inqilob = Katta ma’lumotlar. Qanday yashashimiz, ishlashimiz va fikrlashimizni o‘zgartiradigan inqilob (Big Data. A Revolution That Will Transform How We Live, Work, and Think) / Inna Gaydyukning ingliz tilidan tarjimasi. — Moskva: Mann, Ivanov, Ferber, 2014. — 240 b. — ISBN 987-5-91657-936-9.
- Kris Praymsberger (Preimesberger, Chris). Hadoop, Yahoo va «katta ma’lumotlar» biznes tahlili istiqbolini yoritmoqda (Hadoop, Yahoo, 'Big Data' Brighten BI Future) (ingl.). EWeek (15-avgust 2011-yil). Murojaat sanasi: 12-noyabr 2011-yil. Arxivlangan: 17-may 2012-yil.
- Leonid Chernyak. Katta ma’lumotlar — yangi nazariya va amaliyot // Ochiq tizimlar. Ma’lumotlar bazasini boshqarish tizimlari. — 2011. — № 10. — ISSN 1028-7493.
- Alan Morrison va boshqalar. Katta ma’lumotlar: ulardan qanday axborot olish mumkin. Texnologik prognoz. Har chorakda chiqadigan jurnal, ruscha nashr, 2010-yil, 3-son. PricewaterhouseCoopers (17-dekabr 2010-yil). Murojaat sanasi: 12-noyabr 2011-yil. Arxivlangan: 11-mart 2012-yil.
- Gartner: «Katta ma’lumotlar» muammosini hal qilish faqat ma’lumotlar hajmini boshqarish bilan cheklanmaydi (ingl.). Gartner (27-iyun 2011-yil). Murojaat sanasi: 12-noyabr 2011-yil. Arxivlangan: 17-may 2012-yil.
- Jeyms Manyika va boshqalar. Katta ma’lumotlar: innovatsiyalar, raqobat va unumdorlikning yangi marrasi (Big data: The next frontier for innovation, competition, and productivity) (ingl.) (PDF). McKinsey Global Institute, 2011-yil iyun. McKinsey (9-avgust 2011-yil). Murojaat sanasi: 12-noyabr 2011-yil. Arxivlangan: 11-dekabr 2012-yil.