Qidiruv tizimi

1990-yillarning oxirida qidiruv tizimlari texnologiyasida yuz bergan katta yutuqlargacha Butunjahon o‘rgimchak to‘ridan maʼlumot izlash qiyin va unchalik qulay bo‘lmagan. Ushbu yutuqlar natijasida axborot qidirish ancha osonlashdi
Rus tilidagi foydalanuvchi interfeysiga ega qidiruv tizimining namunasi. So‘rov kiritilgan tizim: Brave qidiruvi.

Qidiruv tizimi, qidiruv vositasi yoki qidiruv mexanizmi (ingl. search engine) — algoritmlar hamda ularni amalga oshiruvchi kompyuter dasturlari (ushbu tushunchaning keng maʼnosida, jumladan, analog tizimlar orqali axborotni avtomatlashtirilgan qayta ishlashning birinchi avlodi) bo‘lib, foydalanuvchiga mavjud maʼlumotlarning katta to‘plamidan izlash orqali kerakli axborotni tez topish imkonini beradi. Qidiruv tizimlarining eng mashhur qo‘llanish yo‘nalishlaridan biri — veb-xizmatlar orqali matnli yoki grafik axborotni Butunjahon o‘rgimchak to‘ridan qidirishdir. Boshqa qidiruv tizimlari quyidagi manbalardagi maʼlumotlarni ham topa oladi: fayllar saqlanadigan FTP-serverlar, mahsulotlar sotiladigan internet-do‘konlar va yangiliklar guruhlari — Usenet.

Qidiruv tizimi yordamida maʼlumot topish uchun foydalanuvchi qidiruv so‘rovini tuzadi. Qidiruv tizimi foydalanuvchining so‘roviga muvofiq, unda ko‘rsatilgan kalit so‘zlar yoki shu kalit so‘zlar bilan qandaydir bog‘liq bo‘lgan so‘zlarni o‘z ichiga olgan hujjatlarni topadi. Bunda tizim qidiruv natijalari sahifasini yaratadi. Bunday natijalar turli ko‘rinishda, masalan, veb-sahifalar, tasvirlar, audiofayllar shaklida bo‘lishi mumkin. Ayrim qidiruv tizimlari tegishli maʼlumotlar bazalari va internet-resurslar kataloglaridan ham maʼlumot oladi. Kerakli maʼlumotlarni izlashda zamonaviy qidiruv tizimlaridan foydalanish eng qulay usul hisoblanadi: ular zarur axborotni tez topishga, qidiruvning aniqligi va to‘liqligini taʼminlashga yordam beradi. Buning uchun izlanayotgan maʼlumotni eng aniq ifodalaydigan kalit so‘zlarni kiritish yoki qidiruv doirasini toraytiruvchi murakkabroq so‘rov tuzish kifoya. So‘rov kiritilgach, internetdagi tegishli kalit so‘zlar uchraydigan hujjatlarga — odatda veb-sahifalar yoki oddiygina sahifalar deb ataladigan manbalarga — havolalar ro‘yxati ko‘rsatiladi. Havolalar odatda topilgan hujjatdan olingan matn parchalari bilan birga beriladi. Bu parchalar sahifa nima haqida ekanini darhol anglashga yordam beradi. Havolani sichqoncha bilan bosib, tanlangan hujjatga o‘tish mumkin.

Qidiruv tizimi foydalanuvchi so‘roviga mos hujjatlarni qancha ko‘p topib bersa, shuncha yaxshi hisoblanadi. Qidiruv natijalari kamroq mos bo‘lib qolishiga algoritmlarning o‘ziga xos xususiyatlari yoki inson omili sabab bo‘lishi mumkin.

Qidirish va xizmat ko‘rsatish usullariga ko‘ra qidiruv tizimlari to‘rt turga ajratiladi: qidiruv robotlaridan foydalanuvchi tizimlar, inson tomonidan boshqariladigan tizimlar, gibrid tizimlar va metatizimlar. Qidiruv tizimining arxitekturasi odatda quyidagi qismlardan iborat:

  • internetdagi saytlar yoki boshqa hujjatlardan maʼlumot yig‘uvchi qidiruv roboti;
  • indekslovchi modul, yig‘ilgan maʼlumotlar bo‘yicha tezkor qidiruvni taʼminlaydi;
  • qidiruv vositasi — grafik interfeys bo‘lib, foydalanuvchining tizim bilan ishlashini taʼminlaydi.

Tarix

Xronologiya
Yil Tizim Voqea
1993 W3Catalog Ishga tushirilishi
Aliweb Ishga tushirilishi
JumpStation[ingl.] Ishga tushirilishi
1994 WebCrawler[ingl.] Ishga tushirilishi
Infoseek[ingl.] Ishga tushirilishi
Lycos Ishga tushirilishi
1995 AltaVista Ishga tushirilishi
Daum Tashkil etilishi
Open Text[ingl.] Web Index Ishga tushirilishi
Magellan Ishga tushirilishi
Excite Ishga tushirilishi
SAPO Ishga tushirilishi
Yahoo! Ishga tushirilishi
1996 Dogpile[ingl.] Ishga tushirilishi
Inktomi[ingl.] Tashkil etilishi
Rambler Tashkil etilishi
HotBot[ingl.] Tashkil etilishi
Ask Jeeves Tashkil etilishi
1997 Northern Light[ingl.] Ishga tushirilishi
Yandex Ishga tushirilishi
1998 Google Ishga tushirilishi
1999 AlltheWeb[ingl.] Ishga tushirilishi
GenieKnows[ingl.] Tashkil etilishi
Naver Ishga tushirilishi
Teoma Tashkil etilishi
Vivisimo[ingl.] Tashkil etilishi
2000 Baidu Tashkil etilishi
Exalead[ingl.] Tashkil etilishi
2003 Info.com[ingl.] Ishga tushirilishi
2004 Yahoo! Search To‘liq ishga tushirilishi
A9.com[ingl.] Ishga tushirilishi
Sogou[ingl.] Ishga tushirilishi
2005 MSN Search To‘liq ishga tushirilishi
Ask.com Ishga tushirilishi
Nigma Ishga tushirilishi
GoodSearch[ingl.] Ishga tushirilishi
SearchMe[ingl.] Tashkil etilishi
2006 wikiseek[ingl.] Tashkil etilishi
Quaero Tashkil etilishi
Live Search Ishga tushirilishi
ChaCha[ingl.] Ishga tushirilishi (beta)
Guruji.com[ingl.] Ishga tushirilishi (beta)
2007 wikiseek Ishga tushirilishi
Sproose[ingl.] Ishga tushirilishi
Wikia Search Ishga tushirilishi
Blackle.com[ingl.] Ishga tushirilishi
2008 DuckDuckGo Ishga tushirilishi
Tooby Ishga tushirilishi
Picollator[ingl.] Ishga tushirilishi
Viewzi[ingl.] Ishga tushirilishi
Cuil Ishga tushirilishi
Boogami[ingl.] Ishga tushirilishi
LeapFish[ingl.] Ishga tushirilishi (beta)
Forestle[ingl.] Ishga tushirilishi
VADLO Ishga tushirilishi
Powerset Ishga tushirilishi
2009 Bing Ishga tushirilishi
KAZ.KZ Ishga tushirilishi
Yebol[ingl.] Ishga tushirilishi (beta)
Mugurdy[ingl.] Yopilishi
Scout[ingl.] Ishga tushirilishi
2010 Cuil Yopilishi
Blekko Ishga tushirilishi (beta)
Viewzi Yopilishi
2012 WAZZUB Ishga tushirilishi
2014 Sputnik Ishga tushirilishi (beta)
2020 Sputnik Ishga tushirilishi

Internet rivojlanishining dastlabki bosqichida Tim Berners-Li veb-serverlar ro‘yxatini CERN saytida yuritgan. Saytlar soni ko‘payib borgani sari bu ro‘yxatni qo‘lda yangilash tobora qiyinlashgan. NCSA saytida «Nimalar yangilik?» (ingl. What's New!) deb nomlangan maxsus bo‘lim bo‘lib, unda yangi saytlarga havolalar eʼlon qilingan.

Axborotni internetdan qidirishga mo‘ljallangan birinchi kompyuter dasturi Archie[ingl.] (ingl. archie — «arxiv» so‘zining «v» harfisiz shakli) edi. Dastur 1990-yilda informatika yo‘nalishida o‘qiyotgan talabalar Alan Emtij (Alan Emtage), Bill Xilan (Bill Heelan) va J. Piter Doych (J. Peter Deutsch) tomonidan Makgill universitetida, Monreal shahrida yaratilgan. Dastur anonim foydalanishga ochiq bo‘lgan barcha FTP-serverlardagi barcha fayllar ro‘yxatini yuklab olib, fayllar nomi bo‘yicha qidirish mumkin bo‘lgan maʼlumotlar bazasini tuzgan. Biroq Archie fayllar tarkibini indekslamagan, chunki o‘sha davrda maʼlumot hajmi juda kichik bo‘lib, kerakli maʼlumotni qo‘lda ham oson topish mumkin edi.

Tarmoq protokoli — Gopherning rivojlanishi va tarqalishi 1991-yilda Mark Makkaxill (Mark McCahill) tomonidan Minnesota universitetida ishlab chiqilgan ikkita yangi qidiruv dasturining paydo bo‘lishiga olib keldi: Veronica[ingl.] va Jughead[ingl.]. Ular ham Archie singari Gopher indeks tizimlarida saqlangan fayl nomlari va sarlavhalarni qidirgan. Veronica (ingl. Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) Gopherning barcha ro‘yxatlaridagi menyu sarlavhalarining aksariyatida kalit so‘zlar bo‘yicha qidirish imkonini bergan. Jughead dasturi (ingl. Jonzy's Universal Gopher Hierarchy Excavation And Display) esa maʼlum Gopher-serverlardagi menyular to‘g‘risidagi maʼlumotlarni to‘plagan. Archie qidiruv tizimining nomi «Archie»[ingl.] komikslari turkumiga aloqador bo‘lmasa-da, Veronica va Jughead shu komikslar qahramonlari nomlaridir.

1993-yil yoziga qadar vebda birorta ham maxsus qidiruv tizimi mavjud emas edi, biroq ko‘plab ixtisoslashtirilgan kataloglar qo‘lda yuritilar edi. Oskar Nirstraz (Oscar Nierstrasz) Jeneva universitetida PerlBu ishlar W3Catalog — 2-sentabr 1993-yilda ishga tushirilgan ilk sodda veb-qidiruv tizimini yaratishga asos bo‘lgan.

Ehtimol, Perl tilida yozilgan birinchi qidiruv roboti «World Wide Web Wanderer» — Metyu Grey (Matthew Gray) yaratgan bot bo‘lib, u Massachusets texnologiya institutida 1993-yil iyun oyida yaratilgan. Robot qidiruv indeksi «Wandex»ni hosil qilgan. Wanderer robotining maqsadi Butunjahon o‘rgimchak to‘ri hajmini o‘lchash va so‘rovdagi so‘zlar mavjud bo‘lgan barcha veb-sahifalarni aniqlash edi. 1993-yilda ikkinchi qidiruv tizimi — «Aliweb» ham paydo bo‘lgan. Aliweb qidiruv robotidan foydalanmagan. Buning o‘rniga sayt maʼmurlaridan saytlarida maʼlum formatdagi indeks fayli mavjudligi haqida xabar berishni kutgan.

JumpStation[ingl.] 1993-yil dekabrda Jonatan Fletcher tomonidan yaratilgan bo‘lib, qidiruv roboti yordamida veb-sahifalarni topgan va indekslagan; qidiruv so‘rovlarini kiritish interfeysi sifatida veb-shakldan foydalangan. U internet-qidiruvning uch muhim funksiyasini — tekshirish, indekslash va bevosita qidirishni — birlashtirgan birinchi vosita edi. O‘sha davrdagi kompyuterlar resurslari cheklanganligi sababli indekslash va shu asosdagi qidiruv faqat robot topgan veb-sahifalar nomlari hamda sarlavhalari bilan chegaralangan.

Robot yordamida resurslarni indekslaydigan ilk to‘liq matnli qidiruv tizimi («crawler-based») «WebCrawler»[ingl.] bo‘lib, 1994-yilda ishga tushirilgan. Undan oldingi tizimlardan farqli ravishda, foydalanuvchilar istalgan veb-sahifaning istalgan joyida uchraydigan so‘zlar bo‘yicha qidirishlari mumkin edi. O‘shandan beri bu imkoniyat aksariyat qidiruv tizimlari uchun standartga aylangan. WebCrawler keng ommalashgan birinchi qidiruv tizimi ham bo‘ldi. 1994-yilda Lycos tizimi ishga tushirilgan. U Karnegi — Mellon universitetida ishlab chiqilgan va yirik tijoriy loyihaga aylangan.

Ko‘p o‘tmay, boshqa ko‘plab raqobatchi qidiruv tizimlari paydo bo‘ldi, jumladan: «Magellan»[ingl.], «Excite», «Infoseek»[ingl.], «Inktomi»[ingl.], «Northern Light»[ingl.] va «AltaVista». Ular maʼlum maʼnoda mashhur internet-kataloglar, masalan, «Yahoo!» bilan raqobatlashgan. Ammo kataloglarda qidiruv veb-sahifalar matnidan emas, faqat kataloglarning o‘zidan amalga oshirilgan. Keyinchalik qidiruv sifatini yaxshilash uchun kataloglar birlashtirilgan yoki ularga qidiruv robotlari qo‘shilgan.

1996-yilda Netscape kompaniyasi bitta qidiruv tizimi bilan eksklyuziv shartnoma tuzib, uni Netscape brauzerida standart qidiruv tizimi qilishni rejalashtirgan. Taklifga qiziqish shu qadar kuchli bo‘lganki, Netscape birdaniga eng yirik beshta qidiruv tizimi (Yahoo!, Magellan, Lycos, Infoseek va Excite) bilan shartnoma tuzgan. Yiliga 5 mln AQSH dollari evaziga ularning qidiruv xizmatlari Netscape qidiruv sahifasida navbatma-navbat taklif etilgan.

Qidiruv tizimlari «dotkomlar pufagi» deb atalgan 1990-yillar oxiridagi davrda ham ishtirok etgan. Ayrim kompaniyalar bozorda shov-shuvli debyut qilib, aksiyalarni birlamchi ommaviy joylashtirish paytida rekord daromad olgan. Baʼzi kompaniyalar ommaviy qidiruv tizimlari bozoridan voz kechib, faqat korporativ sektorda faoliyat yurita boshlagan. Masalan, Northern Light[ingl.].

Google 1998-yilda kalit so‘zlarni sotish g‘oyasini o‘zlashtirdi. O‘sha paytda bu g‘oyadan goto.com[ingl.] manzilidagi qidiruv tizimini yuritgan kichik kompaniya foydalanardi. Bu qadam qidiruv tizimlarini o‘zaro raqobatlashishdan internetdagi eng daromadli tijoriy yo‘nalishlardan biriga aylanish sari olib bordi. Qidiruv tizimlari qidiruv natijalaridagi birinchi o‘rinlarni sotishni ayrim kompaniyalarga taklif qila boshladi.

Google qidiruv tizimi 2000-yillarning boshidan buyon yetakchi mavqega ega. Kompaniya PageRank algoritmi yordamida yuqori sifatli qidiruv natijalarini taqdim etgani tufayli yuksak mavqega erishdi. Algoritm Google asoschilari Sergey Brin va Larri Peyj yozgan «The Anatomy of Search Engine» maqolasida ommaga tanishtirilgan. Ushbu iterativ algoritm veb-sahifalarni ularga yo‘naltirilgan giperhavolalar soniga qarab tartiblaydi. Bunda «yaxshi» va «muhim» sahifalarga boshqalariga nisbatan ko‘proq havola beriladi, degan taxminga asoslaniladi. Google interfeysi ortiqcha unsurlarsiz, juda sodda uslubda yaratilgan. Bu uni qidiruv tizimini veb-portal tarkibiga qo‘shgan ko‘plab raqobatchilaridan ajratib turadi. Google qidiruv tizimi shu qadar mashhur bo‘ldiki, unga taqlid qiluvchi tizimlar, masalan, Mystery Seeker[ingl.](sirli qidiruv vositasi) ham paydo bo‘ldi.

2000-yilga kelib Yahoo! qidiruvni Inktomi tizimi asosida amalga oshirardi. Yahoo! 2002-yilda Inktomi kompaniyasini, 2003-yilda esa AlltheWeb[ingl.] va AltaVista tizimlariga egalik qilgan Overture kompaniyasini sotib oldi. Keyin Yahoo! 2004-yilgacha Google qidiruv tizimiga tayangan holda ishladi. Nihoyat, avval sotib olgan texnologiyalarning barchasi asosida o‘z qidiruv tizimini ishga tushirdi.

«Microsoft» firmasi ilk bor 1998-yil kuzida Inktomi qidiruv natijalaridan foydalanib Microsoft Network Search (MSN Search) tizimini ishga tushirdi. 1999-yil boshida sayt Inktomi natijalari bilan aralashtirilgan Looksmart[ingl.] natijalarini ham ko‘rsata boshladi. 1999-yilda qisqa muddat MSN Search AltaVista qidiruv natijalaridan foydalandi. 2004-yilda Microsoft o‘zining msnbot[ingl.] qidiruv robotidan foydalangan holda mustaqil qidiruv texnologiyasiga o‘ta boshladi. Microsoft rebrendingidan so‘ng 1-iyun 2009-yilda Bing qidiruv tizimi ishga tushirildi. 29-iyul 2009-yilda Yahoo! va Microsoft o‘zaro kelishuv imzoladi. Unga ko‘ra Yahoo! Search Microsoft Bing texnologiyasi asosida ishlay boshladi. 2015-yil holatiga ko‘ra Bing va Yahoo! ittifoqi ilk sezilarli natijalarni berdi: Bing AQSH qidiruv tizimlari bozorining 20,1 % ini, Yahoo! 12,7 % ini egalladi, bu umumiy hisobda 32,60 % ni tashkil qiladi. Turli manbalardagi maʼlumotlarga ko‘ra.

Rus tilidagi axborotni qidirish

1996-yilda AltaVista qidiruv tizimiga rus tilining morfologik xususiyatlarini hisobga oladigan qidiruv joriy etildi. Shu yili Rossiyaning o‘ziga xos qidiruv tizimlari — Rambler va Aport — ishga tushirildi. 23-sentabr 1997-yilda Yandex qidiruv tizimi ochildi. 2014-yilda Rostelekom kompaniyasi Sputnik milliy qidiruv tizimini ishga tushirdi. Biroq loyiha muvaffaqiyatsiz deb topilib, faqat davlat ko‘magi hisobiga mavjud bo‘lgani sababli 2017-yilda yopildi.

Keng ommalashgan usullar — klaster tahlili va metamaʼlumotlar bo‘yicha qidiruv. Bu yo‘nalishdagi xalqaro tizimlardan eng mashhuri «Clusty»[ingl.] bo‘lib, u Vivisimo[ingl.] kompaniyasiga tegishli. 2005-yilda Rossiyada Moskva davlat universiteti ko‘magida «Nigma» qidiruv tizimi ishga tushirildi; u avtomatik klasterlashni qo‘llab-quvvatlagan. 2006-yilda Rossiyaning Quintura meta-qidiruv tizimi ochildi. U teglar buluti ko‘rinishida vizual klasterlashni taklif qilgan. «Nigma» ham vizual klasterlashni sinab ko‘rgan.

Qidiruv tizimi qanday ishlaydi

Standart veb-kraulerning yuqori darajadagi arxitekturasi

Qidiruv tizimining asosiy tarkibiy qismlari: qidiruv roboti, indekslovchi modul, qidiruv vositasi.

Odatda tizimlar bosqichma-bosqich ishlaydi. Avval qidiruv roboti kontentni yig‘adi, keyin indekslovchi modul qidirish mumkin bo‘lgan indeksni yaratadi va nihoyat qidiruv vositasi indekslangan maʼlumotlardan qidirish funksiyasini taʼminlaydi. Qidiruv tizimini yangilash uchun indekslashning ushbu sikli qayta bajariladi.

Qidiruv tizimlari ko‘plab veb-sahifalardan olingan maʼlumotlarni saqlash orqali ishlaydi. Axborot asosan HTML-sahifalardan olinadi. Qidiruv roboti (ingl. Crawler) — sahifada topilgan barcha havolalar bo‘ylab avtomatik o‘tib, ularni ajratib oladigan dastur. Qidiruv roboti havolalar yoki oldindan belgilangan manzillar ro‘yxati asosida tizimga ilgari nomaʼlum bo‘lgan yangi hujjatlarni qidiradi. Sayt egasi robots.txt fayli yordamida ayrim fayllar, sahifalar yoki sayt kataloglarining indekslanishini taqiqlashi mumkin.

Qidiruv tizimi keyinchalik indekslash uchun har bir sahifa mazmunini tahlil qiladi. So‘zlar sarlavhalar, sahifa matni yoki maxsus maydonlar — metateglardan olinishi mumkin. Indekslovchi modul sahifani avval qismlarga bo‘lib, o‘zining leksik va morfologik algoritmlari yordamida tahlil qiladi. Veb-sahifaning barcha elementlari alohida ajratib olinadi va tahlil qilinadi. Sahifalar haqidagi maʼlumotlar keyingi so‘rovlarda foydalanish uchun indeks bazasida saqlanadi. Indeks foydalanuvchi so‘roviga muvofiq axborotni tez topish imkonini beradi.

Google kabi ayrim qidiruv tizimlari dastlabki sahifaning hammasini yoki bir qismini, yaʼni keshni, shuningdek veb-sahifa haqidagi boshqa maʼlumotlarni ham saqlaydi. AltaVista kabi boshqa tizimlar har bir topilgan sahifadagi har bir so‘zni saqlaydi. Keshdan foydalanish avval kirilgan sahifalardan maʼlumotni qayta olishni tezlashtiradi. Keshlangan sahifalarda foydalanuvchi qidiruv so‘rovida kiritgan matn doimo mavjud bo‘ladi. Bu veb-sahifa yangilanib, endi foydalanuvchi so‘rovidagi matnni o‘z ichiga olmasa-yu, keshdagi sahifa eski holicha qolsa, ayniqsa foydalidir. Mazkur vaziyat havolalarning eskirib ishlamay qolishi (ingl. linkrot) va Googlening foydalanuvchiga qulaylik yaratishga (foydalanish qulayligi) qaratilgan yondashuvi bilan bog‘liq. Bunda keshdan qidiruv so‘rovidagi so‘zlar mavjud bo‘lgan qisqa matn parchalarini ko‘rsatish nazarda tutiladi. Eng kam hayratlanish tamoyili amal qiladi: foydalanuvchi odatda topilgan sahifalar matnida o‘zi qidirgan so‘zlarni ko‘rishni kutadi (foydalanuvchi kutgan natijalar[ingl.]). Kesh sahifalari qidiruvni tezlashtirishdan tashqari, boshqa hech qayerda qolmagan axborotni ham saqlab turishi mumkin.

Qidiruv vositasi indekslovchi modul yaratgan chiqish fayllari bilan ishlaydi. U foydalanuvchi so‘rovlarini qabul qiladi, indeks yordamida qayta ishlaydi va qidiruv natijalarini qaytaradi.

Foydalanuvchi qidiruv tizimiga so‘rovni (odatda kalit so‘zlar yordamida) kiritganda, tizim o‘z indeksini tekshiradi va eng mos veb-sahifalar ro‘yxatini maʼlum mezon asosida tartiblab chiqaradi. Odatda natijalarda hujjat sarlavhasi va baʼzan matn parchalari keltirilgan qisqa izoh ham bo‘ladi. Qidiruv indeksi veb-sahifalardan olingan maʼlumotlar asosida maxsus usul bilan tuziladi. 2007-yildan Google hujjat yaratilgan vaqtni hisobga olgan holda qidirish imkonini beradi (buning uchun «Qidiruv vositalari» menyusi ochilib, vaqt oralig‘i ko‘rsatiladi).

Aksariyat qidiruv tizimlari so‘rovlarda Bul operatorlari — VA, YOKI, EMAS — dan foydalanishni qo‘llab-quvvatlaydi. Ular orqali izlanayotgan kalit so‘zlar ro‘yxatini aniqlashtirish yoki kengaytirish mumkin. Bunda tizim so‘z yoki iboralarni aynan kiritilgan ko‘rinishida izlaydi. Baʼzi qidiruv tizimlarida taxminiy qidiruv[ingl.] imkoniyati mavjud. Unda foydalanuvchilar kalit so‘zlar orasidagi masofani ko‘rsatib, qidiruv doirasini kengaytirishlari mumkin. Shuningdek, konseptual qidiruv[ingl.] mavjud bo‘lib, unda so‘z va iboralarning veb-sahifalardagi qo‘llanishiga oid statistik tahlil ishlatiladi. Bunday tizimlar so‘rovlarni tabiiy tilda tuzish imkonini beradi.

Qidiruv tizimining foydaliligi u topgan sahifalarning moslik darajasiga bog‘liq. Millionlab veb-sahifalarda bir xil so‘z yoki ibora uchrashi mumkin, ammo ularning ayrimlari boshqalariga qaraganda ko‘proq mos, ommabop yoki nufuzli bo‘ladi. Qidiruv tizimlarining aksariyati eng yaxshi natijalarni ro‘yxat boshida ko‘rsatish uchun tartiblash usullaridan foydalanadi. Qaysi sahifalar so‘rovga ko‘proq mosligi va natijalarni qanday tartibda ko‘rsatish kerakligini har bir qidiruv tizimi turlicha hal qiladi. Internet bilan birga qidiruv usullari ham o‘zgaradi. Shu tariqa qidiruv tizimlarining ikki asosiy turi shakllangan: oldindan belgilangan va iyerarxik tartiblangan kalit so‘zlarga asoslangan tizimlar hamda matnni tahlil qilish orqali teskari indeks yaratiladigan tizimlar.

Aksariyat qidiruv tizimlari reklama orqali daromad oladigan tijoriy korxonalardir. Ayrim qidiruv tizimlarida muayyan kalit so‘zlar bo‘yicha natijalar ro‘yxatining yuqori o‘rinlarini pulga sotib olish mumkin. Natijalar tartibi uchun haq olmaydigan tizimlar esa kontekstli reklamadan daromad oladi: reklama xabarlari foydalanuvchi so‘roviga mos keladi. Bunday reklama qidiruv natijalari sahifasida ko‘rsatiladi va foydalanuvchi har bir reklamani bosganda qidiruv tizimi daromad oladi.

Qidiruv tizimlarining turlari

Qidiruv tizimlarining to‘rt turi mavjud: qidiruv robotiga asoslangan, inson tomonidan boshqariladigan, gibrid va meta-qidiruv tizimlari.

  • qidiruv robotidan foydalanadigan tizimlar. Ular uch qismdan iborat: krauler («bot», «robot» yoki «o‘rgimchak»), indeks va qidiruv tizimi dasturiy taʼminoti. Krauler internetni kezib chiqish va veb-sahifalar ro‘yxatini tuzish uchun kerak. Indeks — veb-sahifalar nusxalarining katta arxivi. Dasturiy taʼminotning vazifasi — qidiruv natijalarini baholash. Qidiruv roboti tarmoqni muntazam tekshirib turgani uchun maʼlumotlar nisbatan dolzarb bo‘ladi. Zamonaviy qidiruv tizimlarining aksariyati shu turga kiradi.
  • inson tomonidan boshqariladigan tizimlar (resurs kataloglari). Bunday qidiruv tizimlari veb-sahifalar ro‘yxatini oladi. Katalogda sayt manzili, sarlavhasi va qisqacha tavsifi bo‘ladi. Resurs katalogi faqat veb-ustalar taqdim etgan sahifa tavsiflari ichidan natija qidiradi. Kataloglarning afzalligi shundaki, barcha resurslar qo‘lda tekshiriladi; shuning uchun kontent sifati avtomatik ishlaydigan birinchi turdagi tizimlar natijalariga qaraganda yaxshiroq bo‘lishi mumkin. Kamchiligi — katalog maʼlumotlari qo‘lda yangilanadi va haqiqiy holatdan ancha ortda qolishi mumkin. Sahifalar reytingi darhol o‘zgarmaydi. Bunday tizimlarga misol: Yahoo katalogi, dmoz va Galaxy.
  • gibrid tizimlar. Yahoo, Google va MSN kabi qidiruv tizimlari qidiruv robotidan foydalanadigan va inson tomonidan boshqariladigan tizimlarning funksiyalarini birlashtiradi.
  • meta-qidiruv tizimlari. Meta-qidiruv tizimlari bir vaqtning o‘zida bir nechta qidiruv tizimi natijalarini birlashtirib, tartiblaydi. Har bir qidiruv tizimining indeksi o‘ziga xos va tizimlar unchalik «aqlli» bo‘lmagan davrda ular foydali edi. Hozir qidiruv ancha takomillashgani sababli ularga ehtiyoj kamaygan. Misollar: MetaCrawler[ingl.] va MSN Search.

Qidiruv tizimlari bozori

Google — bozorning 92,16 % ulushi bilan dunyodagi eng mashhur qidiruv tizimi. Bing esa 2,88 % ulush bilan ikkinchi o‘rinda turadi.

Dunyodagi eng mashhur qidiruv tizimlari:

Qidiruv tizimi2014-yil iyuldagi bozor ulushi2014-yil oktabrdagi bozor ulushi 2017-yil sentabrdagi bozor ulushi 2020-yil sentabrdagi bozor ulushi 2021-yil dekabrdagi bozor ulushi
Google68,69 %58,01 % 69,24 % 92,16 % 91,94 %
Bing17,17 %29,06 % 12,26 % 2,88 % 2,86 %
Baidu6,22 %8,01 % 6,48 % 1,14 % 1,37 %
Yahoo!6,74 %4,01 % 5,19 % 1,52 % 1,5 %
AOL0,13 %0,21 % 1,11 %
Excite0,22 %0,00 % 0,00 %
Ask0,13 %0,10 % 0,24 %

Osiyo

Sharqiy Osiyo mamlakatlari va Rossiyada Google eng mashhur qidiruv tizimi emas. Xitoyda, masalan, undan ham ommabop qidiruv tizimi — Soso.

Janubiy Koreyada mahalliy ishlab chiqilgan Naver qidiruv portalidan aholining qariyb 70 % i foydalanadi. Yahoo! Japan va Yahoo! Taiwan mos ravishda Yaponiya va Tayvanda eng mashhur qidiruv tizimlaridir.

Rossiya va rus tilidagi qidiruv tizimlari

Rossiyadagi foydalanuvchilarning 50,3 % i Google qidiruv tizimidan, Yandex — 47,9 %.

LiveInternet maʼlumotlariga ko‘ra, 2017-yil dekabrda rus tilidagi qidiruv so‘rovlari qamrovi quyidagicha bo‘lgan:

Ayrim qidiruv tizimlari tashqi qidiruv algoritmlaridan foydalanadi.

2025-yil sentabridan boshlab Rossiyaning ayrim hududlarida xavfsizlik nuqtayi nazaridan mobil internet faoliyati vaqtincha cheklanganda, foydalanuvchilarga faqat «oq ro‘yxat» deb ataladigan Rossiya Raqamli rivojlanish vazirligi ro‘yxatidagi resurslardan foydalanish imkoniyati saqlanib qolmoqda. Ro‘yxat muntazam yangilanadi va ijtimoiy ahamiyatga ega eng talabgir xizmatlarni qamrab oladi. Ular orasida Yandex ekotizimining xizmatlari, xususan Yandex qidiruvi va Alisa mavjud. Bu xizmatlar mobil internet keskin cheklangan sharoitda ham ishlayveradi, chunki ularning infratuzilmasi reyestrga kiritish talablariga (serverlarning Rossiya Federatsiyasi hududida joylashtirilishi) mos keladi.

Google qidiruv tizimiga oid miqdoriy maʼlumotlar

Internet va qidiruv tizimlaridan foydalanuvchilar soni hamda ularning tizimlarga qo‘yadigan talablari tobora ortib bormoqda. Kerakli axborotni izlash tezligini oshirish uchun yirik qidiruv tizimlarida ko‘plab serverlar ishlatiladi. Serverlar odatda server markazlari — maʼlumotlarni qayta ishlash markazlari (data-markazlar)ga birlashtiriladi. Mashhur qidiruv tizimlarining data-markazlari dunyoning turli hududlarida joylashgan.

2012-yil oktabrda Google «Internet qayerda yashaydi?» loyihasini ishga tushirdi. Loyiha foydalanuvchilarga kompaniyaning maʼlumotlarni qayta ishlash markazlari bilan tanishish imkonini beradi.

Google qidiruv tizimining data-markazlari faoliyati haqida quyidagilar maʼlum:

  • 2011-yil holatiga ko‘ra Google data-markazlarining jami quvvati 220 MVt deb baholangan.
  • Google 2008-yilda Oregon shtatida umumiy maydoni 6,5 mln m² bo‘lgan uch binodan iborat yangi majmuani ochishni rejalashtirganida, Harper’s Magazine jurnali bu darajada katta majmua 100 MVt dan ortiq elektr energiyasi isteʼmol qilishini hisoblagan. Bu 300 000 aholisi bor shaharning energiya sarfiga teng.
  • 2012-yilda Google serverlarining taxminiy soni — 1 mln.
  • Google data-markazlariga 2006-yilda 1,9 mlrd AQSH dollari, 2007-yilda esa 2,4 mlrd AQSH dollari sarflagan.

2014-yil dekabr holatiga ko‘ra Google indekslagan Butunjahon o‘rgimchak to‘ri taxminan 4,36 milliard sahifadan iborat bo‘lgan.

Diniy taqiqlarni hisobga oluvchi qidiruv tizimlari

Internetning butun dunyoga tarqalishi va elektron qurilmalar ommaviylashuvi arab hamda musulmon dunyosida, xususan Yaqin Sharq va Hindiston yarimoroli mamlakatlarida islomiy anʼanalarni hisobga oluvchi mahalliy qidiruv tizimlarining rivojlanishiga turtki bo‘ldi. Bunday tizimlar foydalanuvchilarning taqiqlangan saytlarga, masalan, pornografik saytlarga kirishining oldini oladigan maxsus filtrlarga ega bo‘lib, faqat islom eʼtiqodiga zid bo‘lmagan kontentli saytlardan foydalanishga imkon beradi.

Musulmonlarning Ramazon oyi arafasida, 2013-yil iyulda, Halalgoogling[ingl.] — foydalanuvchilarga faqat halol («to‘g‘ri») havolalarni taqdim etuvchi qidiruv tizimi — ommaga tanishtirildi. U Google va Bing kabi boshqa qidiruv tizimlaridan olingan natijalarni filtrlaydi. Bundan ikki yil oldin, 2011-yil sentabrda, Yaqin Sharq foydalanuvchilariga xizmat ko‘rsatish uchun I’mHalal qidiruv tizimi ishga tushirilgan edi. Biroq egasining maʼlum qilishicha, moliyalashtirish yetishmagani sababli bu xizmat tez orada yopilgan.

Diniy yo‘nalishdagi boshqa ommalashgan qidiruv tizimlariga Googlening yahudiycha talqini Jewogle hamda foydalanuvchilarni ularning eʼtiqodiga putur yetkazishi yoki uni zaiflashtirishi mumkin bo‘lgan kontentdan himoyalovchi filtrlarga ega xristian sayti SeekFind.org kiradi.

Shaxsiylashtirilgan natijalar va filtr pufaklari

Google va Bing kabi ko‘plab qidiruv tizimlari foydalanuvchining avvalgi harakatlariga asoslanib, u qanday maʼlumotni ko‘rishni istashini tanlab taxmin qiladigan algoritmlardan foydalanadi. Natijada veb-saytlar faqat foydalanuvchining oldingi qiziqishlariga mos axborotni ko‘rsatadi. Ushbu hodisa «filtr pufagi» deb ataladi.

Buning oqibatida foydalanuvchilar o‘z qarashlariga zid maʼlumotlarga ancha kam duch keladi va o‘z «axborot pufagi» ichida intellektual jihatdan yakkalanib qoladi. Shu tariqa «pufak effekti» jamoatchilik fikrining shakllanishiga salbiy taʼsir ko‘rsatishi mumkin.

Sunʼiy intellekt javoblarini qidiruv natijalariga joriy etish

2024-yil boshida Google kompaniyasi o‘zining qidiruv tizimiga sunʼiy intellekt texnologiyalarini joriy etdi. Bir necha oy o‘tib Yandex o‘zining «Qidiruv» xizmatida bir nechta manbadan olingan maʼlumotlarni bitta javobga jamlaydigan «Neyro» funksiyasini ishga tushirdi. Ushbu funksiya Yandex GPT texnologiyasi asosida ishlaydi.

Qidiruv tizimlaridagi tarafkashlik

Qidiruv tizimlari veb-saytlarni ommaboplik va so‘rovga moslik mezonlari uyg‘unligiga ko‘ra baholash uchun dasturlashtirilgan. Ammo tajribaviy tadqiqotlar amalda siyosiy, iqtisodiy va ijtimoiy omillar qidiruv natijalariga taʼsir qilishini ko‘rsatadi.

Bunday tarafkashlik iqtisodiy va tijoriy jarayonlarning bevosita natijasi bo‘lishi mumkin: qidiruv tizimida reklama beradigan kompaniyalarning saytlari oddiy qidiruv natijalarida ham ommaboplashishi mumkin. Mahalliy qonunlarga zid natijalarni olib tashlash siyosiy jarayonlarning taʼsiriga misoldir. Masalan, Holokostni inkor etish noqonuniy bo‘lgan Fransiya va Germaniyada Google ayrim neonatsist veb-saytlarini ko‘rsatmaydi.

Tarafkashlik ijtimoiy jarayonlar taʼsirida ham yuzaga kelishi mumkin. Chunki qidiruv tizimlarining algoritmlari ko‘pincha noodatiy qarashlarni chetga surib, «ommaboproq» natijalarni ustun qo‘yadigan tarzda ishlab chiqiladi. Yirik qidiruv tizimlarining indekslash algoritmlari AQSH saytlariga ustuvorlik beradi.

Qidiruv bombasi — siyosiy, ijtimoiy yoki tijoriy maqsadlarda qidiruv natijalarini boshqarishga urinish misollaridan biridir.

Adabiyotlar

Havolalar