Katta ma’lumotlar (Big Data)

Katta ma’lumotlar (ingl. big data, [ˈbɪɡ ˈdeɪtə]) — juda katta hajmdagi, xilma-xil tuzilmali va tuzilmasiz ma’lumotlarni anglatadigan atama. Bunday ma’lumotlar gorizontal miqyoslanadigan dasturiy vositalar yordamida samarali qayta ishlanadi. Bu vositalar 2000-yillarning oxirida paydo bo‘lib, an’anaviy ma’lumotlar bazasini boshqarish tizimlari va biznes tahlili (Business Intelligence) yechimlariga muqobil hisoblanadi.

Keng ma’noda «katta ma’lumotlar» deganda nihoyatda ulkan ma’lumotlar to‘plamlarini, ayrim sohalarda esa dunyodagi barcha ma’lumotlarni tahlil qilish imkonini beruvchi texnologiyalarning paydo bo‘lishi va buning natijasida yuz beradigan tub o‘zgarishlar bilan bog‘liq ijtimoiy-iqtisodiy hodisa tushuniladi.

Katta ma’lumotlarning asosiy xususiyatlari sifatida odatda «uchta V» ajratiladi: hajm (ingl. volume, ya’ni ma’lumotlarning fizik hajmi), tezlik (velocity, ya’ni ma’lumotlar ko‘payishining tezligi hamda ularni tezkor qayta ishlash va natija olish zarurati), xilma-xillik (variety, ya’ni turli shakldagi tuzilmali va yarim tuzilmali ma’lumotlarni bir vaqtda qayta ishlash imkoniyati). Keyinchalik bu xususiyat turlicha talqin qilinib, uning yangi variantlari paydo bo‘ldi.

Axborot texnologiyalari nuqtayi nazaridan, katta ma’lumotlar bilan ishlash yondashuvlari va vositalari dastlab, avvalo, ommaviy parallel usulda tuzilishi aniq belgilanmagan ma’lumotlarni qayta ishlash vositalarini, xususan, NoSQL turidagi ma’lumotlar bazasini boshqarish tizimlarini, MapReduce algoritmlarini hamda ularni amalga oshiruvchi Hadoop loyihasining dasturiy karkaslari va kutubxonalarini qamrab olgan. Keyinchalik katta ma’lumotlar texnologiyalari qatoriga nihoyatda yirik ma’lumotlar majmualarini qayta ishlash bo‘yicha shunga o‘xshash imkoniyatlarni ma’lum darajada ta’minlaydigan turli axborot-texnologik yechimlar ham kiritila boshlandi.

Dunyoda ma’lumotlarni saqlash, uzatish va qayta ishlashning texnologik salohiyati (o‘sish sur’atlari hamda jahon axborotida raqamli ma’lumotlar ulushining o‘zgarishi):
— 2002-yil analog va raqamli ma’lumotlarning jahon miqyosidagi hajmlari nisbati raqamli ma’lumotlar foydasiga o‘zgargan burilish yili bo‘ldi; raqamli ma’lumotlar hajmi geometrik progressiya bo‘yicha (juda tez) o‘sa boshladi;
— 2007-yilga kelib raqamli ma’lumotlar hajmi analog ma’lumotlar hajmidan deyarli 15 baravar oshib, 280 eksabayt raqamli ma’lumotga nisbatan 19 eksabayt analog ma’lumotni tashkil etdi.

Tarix

«Katta ma’lumotlar» atamasining keng qo‘llanila boshlashi Klifford Linch — Nature jurnali muharriri bilan bog‘liq. U 3-sentabr 2008-yilda quyidagi mavzuga bag‘ishlangan maxsus sonni tayyorladi: «Katta hajmdagi ma’lumotlar bilan ishlash imkonini beruvchi texnologiyalar ilm-fan kelajagiga qanday ta’sir ko‘rsatishi mumkin?», unda qayta ishlanayotgan ma’lumotlar hajmi va xilma-xilligining keskin ortishi, shuningdek, «miqdordan sifatga» o‘tish ehtimoli nuqtayi nazaridan texnologik istiqbollar yoritilgan. Atama ingliz tilidagi biznes muhitida keng tarqalgan «katta neft», «katta ruda».

Atama ilmiy muhitda paydo bo‘lib, dastlab ilmiy ma’lumotlar hajmi va xilma-xilligining o‘sishi muammosiga qaratilganiga qaramay, 2009-yildan boshlab biznes matbuotida keng tarqaldi. 2010-yilga kelib esa katta ma’lumotlarni qayta ishlashga qaratilgan ilk mahsulot va yechimlar paydo bo‘ldi[mavhum ibora]. 2011-yilga kelib korxonalar uchun axborot texnologiyalarini yetkazib beruvchi eng yirik kompaniyalarning aksariyati katta ma’lumotlar tushunchasini o‘z biznes strategiyasida qo‘llay boshladi. Jumladan, IBM, Oracle, Microsoft, Hewlett-Packard, EMC kompaniyalari, shuningdek, axborot texnologiyalari bozorining yetakchi tahlilchilari ushbu konsepsiyaga alohida tadqiqotlar bag‘ishladi.

2011-yilda Gartner katta ma’lumotlarni axborot-texnologiya infratuzilmasidagi ikkinchi eng muhim yo‘nalish deb baholadi (birinchi o‘rinda virtuallashtirish turadi; katta ma’lumotlar energiya tejash va monitoringdan muhimroq deb baholangan). O‘sha davrda katta ma’lumotlar texnologiyalarining joriy etilishi ishlab chiqarish, sog‘liqni saqlash, savdo, davlat boshqaruvi, shuningdek, resurslarning alohida harakatlari qayd etiladigan boshqa soha va tarmoqlardagi axborot texnologiyalariga eng katta ta’sir ko‘rsatishi taxmin qilingan.

2013-yildan boshlab katta ma’lumotlar oliy ta’lim muassasalarida paydo bo‘lgan ma’lumotlar haqidagi fan (data science) hamda hisoblash fanlari va muhandislik yo‘nalishlari dasturlarida alohida o‘quv predmeti sifatida o‘rganila boshlandi.

2015-yilda Gartner katta ma’lumotlarni yangi texnologiyalarning yetuklik siklidan chiqarib tashladi va 2011—2014-yillarda chop etib kelingan katta ma’lumotlar texnologiyalari uchun alohida yetuklik siklini e’lon qilishni to‘xtatdi. Bunga shov-shuv bosqichidan amaliy qo‘llash bosqichiga o‘tilgani sabab qilib ko‘rsatildi. Alohida yetuklik siklida qayd etilgan texnologiyalarning aksariyati ilg‘or tahlil va ma’lumotlar haqidagi fan, biznes tahlili (BI) va ma’lumotlarni tahlil qilish, korporativ axborotni boshqarish, operativ xotirada hisoblash hamda axborot infratuzilmasiga oid maxsus sikllarga o‘tkazildi.

VVV

Belgilar to‘plami VVV (volume, velocity, variety) dastlab 2001-yilda Meta Group tomonidan katta ma’lumotlarni ma’lum axborot-texnologik usullar va vositalar majmuasi sifatida tushunishdan mustaqil ravishda ishlab chiqilgan. Tashkilotlar uchun markazlashgan ma’lumotlar ombori konsepsiyasi ommalashib borayotgan sharoitda, ushbu yondashuv ma’lumotlarni boshqarishning uchala jihati ham birdek muhim ekanini ta’kidlagan. Keyinchalik «to‘rtta V» (bunga veracity — ishonchlilik qo‘shilgan; bu talqin IBM reklama materiallarida qo‘llangan), «beshta V» (unda viability — hayotiylik va value — qiymat qo‘shilgan), hatto «yettita V» (bulardan tashqari variability — o‘zgaruvchanlik va visualization — vizuallashtirish). IDC «to‘rtinchi V»ni value, ya’ni tegishli sharoitlarda ma’lumotlarning muayyan hajmini qayta ishlash iqtisodiy jihatdan qay darajada maqsadga muvofiqligi sifatida talqin qiladi. Bu IDC tomonidan berilgan katta ma’lumotlar ta’rifida ham aks etgan. Barcha talqinlarda katta ma’lumotlarning belgilovchi xususiyati faqat fizik hajm emasligi, balki ma’lumotlarni qayta ishlash va tahlil qilish vazifasining murakkabligini ifodalovchi boshqa jihatlar ham muhimligi ta’kidlanadi.

Manbalar

Katta ma’lumotlarning klassik manbalari sifatida narsalar interneti (Internet of Things) va ijtimoiy media e’tirof etiladi. Shuningdek, katta ma’lumotlar korxona va tashkilotlarning ichki axborotidan (axborot muhitida hosil bo‘ladigan, biroq ilgari saqlanmagan va tahlil qilinmagan ma’lumotlar), tibbiyot hamda bioinformatika sohalaridan, shuningdek, astronomik kuzatuvlardan olinishi mumkin deb hisoblanadi.

Katta ma’lumotlar manbalariga misol sifatida o‘lchash qurilmalaridan uzluksiz keladigan ma’lumotlar, radiochastotali identifikatorlar orqali qayd etiladigan hodisalar, xabarlar oqimini hosil qiluvchi ijtimoiy tarmoqlar, meteorologik ma’lumotlar, Yerni masofadan zondlash ma’lumotlari, joylashuv ma’lumotlarini uzatuvchi uyali aloqa tarmoqlari abonentlarining ma’lumotlari, audio- va videoqayd qurilmalaridan olinadigan ma’lumotlar kiradi. Ushbu manbalarning rivojlanishi va keng qo‘llanila boshlashi katta ma’lumotlar texnologiyalarining ilmiy-tadqiqot faoliyatiga, tijorat sektoriga va davlat boshqaruviga kirib borishini jadallashtirishi kutilmoqda.

Tahlil usullari

Katta ma’lumotlarni tahlil qilishda qo‘llanadigan usullar va texnikalar (manba: McKinsey):

Texnologiyalar

Katta ma’lumotlarni qayta ishlashning asosiy tamoyili sifatida ko‘pincha gorizontal miqyoslash, bu tamoyil yuzlab va minglab hisoblash tugunlariga taqsimlangan ma’lumotlarni unumdorlik pasaymasdan qayta ishlash imkonini beradi. Uni NIST ham o‘zining katta ma’lumotlarga bergan ta’rifiga kiritgan. Shu bilan birga, McKinsey NoSQL, MapReduce, Hadoop va R kabi aksariyat tahlilchilar ko‘rib chiqadigan texnologiyalardan tashqari, katta ma’lumotlarni qayta ishlash yechimlari qatoriga biznes tahlili (Business Intelligence) va relyatsion ma’lumotlar bazasini boshqarish tizimlarini, xususan, SQL tilini qo‘llab-quvvatlaydigan tizimlarni ham kiritadi.

NoSQL

MapReduce

Hadoop

R

Apparat yechimlari

Katta ma’lumotlarni qayta ishlash uchun oldindan sozlangan yechimlarni taqdim etuvchi bir qator apparat-dasturiy majmualar mavjud: Aster MapReduce appliance (korporatsiya Teradata), Oracle Big Data appliance, Greenplum appliance (korporatsiya EMC, uning tarkibiga qo‘shib olingan Greenplum kompaniyasining yechimlari asosida). Bu majmualar ma’lumotlarni qayta ishlash markazlariga o‘rnatishga tayyor telekommunikatsiya shkaflari bo‘lib, ular serverlar klasteri va ommaviy parallel qayta ishlashni boshqaruvchi dasturiy ta’minotni o‘z ichiga oladi.

Ma’lumotlarni operativ xotirada hisoblash uchun, avvalo, operativ xotiradagi ma’lumotlar bazalari va operativ xotiradagi tahlil uchun mo‘ljallangan apparat yechimlari, jumladan, apparat-dasturiy majmualar Hana (SAP kompaniyasining oldindan sozlangan apparat-dasturiy yechimi) va Exalytics (Oracle kompaniyasining Timesten[ingl.] relyatsion tizimi hamda ko‘p o‘lchovli Essbase tizimiga asoslangan majmuasi) ham ba’zan katta ma’lumotlar yechimlariga kiritiladi. Vaholanki, bunday qayta ishlash dastlabdan ommaviy parallel usulda amalga oshirilmaydi va bitta tugunning operativ xotirasi bir necha terabayt bilan cheklangan.

Bundan tashqari, ba’zan an’anaviy relyatsion ma’lumotlar bazasini boshqarish tizimlari — Netezza, Teradata, Exadata asosidagi apparat-dasturiy majmualar ham katta ma’lumotlar yechimlari qatoriga kiritiladi, chunki ular tuzilmali ma’lumotlarning terabaytlar va eksabaytlar bilan o‘lchanadigan hajmlarini samarali qayta ishlab, ulkan hajmdagi tuzilmali ma’lumotlarni tezkor izlash va tahlil qilish vazifalarini bajarishi mumkin. Juda katta hajmdagi ma’lumotlar uchun ilk ommaviy parallel apparat-dasturiy yechimlar Britton Li (Britton Lee)[ingl.] kompaniyasining dastlab 1983-yilda ishlab chiqarilgan mashinalari hamda Teradata (ishlab chiqarilishi 1984-yilda boshlangan) mashinalari bo‘lgani qayd etiladi. Shu bilan birga, 1990-yilda Teradata kompaniyasi Britton Lee’ni sotib olgan.

Ma’lumotlarni saqlashga mo‘ljallangan apparat yechimi DAS — hisoblash tugunlariga bevosita ulangan ma’lumot saqlash tizimlari — SN arxitekturasida qayta ishlash tugunlari bir-biridan mustaqil bo‘lgani sababli ba’zan katta ma’lumotlar texnologiyalariga ham kiritiladi. Aynan katta ma’lumotlar konsepsiyasi paydo bo‘lishi 2010-yillarning boshlarida DAS yechimlariga qiziqish yana ortganini ko‘rsatadi. Bundan oldin, 2000-yillarda ularning o‘rnini tarmoqqa asoslangan NAS va SAN turidagi yechimlar egallagan edi.

Adabiyotlar

Havolalar