Chuqur veb (Deep Web) nima

Ko‘rinadigan va ko‘rinmaydigan tarmoqlar

Chuqur tarmoq (shuningdek, «Ko‘rinmas tarmoq», «Chuqur to‘r», «Chuqur internet», ingl. deep web) — Butunjahon vebdagi veb-sahifalar majmui bo‘lib, ular qidiruv tizimlari tomonidan indekslanmaydi.

Atama tegishli inglizcha invisible web iborasidan kelib chiqqan. Chuqur to‘rning eng katta qismini chuqur veb (ingl. deep web, hidden web) tashkil etadi. U onlayn ma’lumotlar bazalariga yuborilgan so‘rovlar asosida dinamik ravishda yaratiladigan veb-sahifalardan iborat.

Quyidagi tushunchalarni bir-biri bilan adashtirmaslik kerak: chuqur veb va qorong‘i veb (ingl. dark web) — bu tarmoq segmentlari umumiy internet tarmog‘iga ulangan bo‘lsa-da, ularga kirish uchun maxsus dasturiy vositalar talab etiladi.

Muammoning mohiyati

Chuqur veb tarkibiga veb-sahifalar kiradi. Ular boshqa sahifalar bilan giperhavolalar orqali bog‘lanmagan bo‘ladi (masalan, saytlardagi skriptlar so‘rov asosida dinamik ravishda yaratadigan va ularga bevosita havolalar olib bormaydigan boshi berk veb-sahifalar). Shuningdek, faqat ro‘yxatdan o‘tgan foydalanuvchilar kira oladigan saytlar va faqat parol orqali ochiladigan internet sahifalari ham shu toifaga kiradi.

Qidiruv tizimlari maxsus qidiruv robotlaridan foydalanadi. Ular giperhavolalar orqali sahifadan sahifaga o‘tib, sahifalarning mazmunini indekslaydi hamda sahifalar mazmuni bilan ularga olib boruvchi giperhavolalarni o‘z ma’lumotlar bazalariga kiritadi. Indekslangan sahifadan boshqa sahifalarga havolalarni topgan qidiruv boti ularga o‘tib, topilgan har bir sahifaning mazmunini indekslaydi. Keyin yangi giperhavolalarni topib, indekslash uchun ularga ham o‘tadi. Indekslanayotgan sahifalardan tashqariga olib boradigan havolalar kuzatib borilgani sayin indekslangan veb-sahifalar soni uzluksiz ortib boradi. Boshqa sahifalardan havola berilmagan veb-sahifalarga esa qidiruv boti kira olmaydi, shuning uchun ularning mazmuni indekslanmaydi. Natijada oddiy foydalanuvchi «Chuqur veb»dagi sayt yoki veb-sahifaning URL manzilini bilmasa, unga kira olmaydi.

Shuningdek, «Chuqur veb»ga egalari qidiruv tizimlarida indekslanishdan ixtiyoriy ravishda voz kechgan saytlar (masalan, «robots.txt» fayli yordamida) hamda uchinchi shaxslar axborotni ko‘rishidan avtorizatsiya orqali himoyalangan sayt va veb-sahifalar kiradi. Bunday holatda login va/yoki parolni bilmasdan sahifa mazmunini to‘liq ko‘rish yoki saytdan foydalanish mumkin emas.

Ko‘lami

Chuqur vebning hajmi noma’lum. Biroq onlayn ma’lumotlar bazalariga olib boradigan saytlarning umumiy soni bo‘yicha nisbatan ishonchli baholar mavjud: taxminan 300 mingta shunday sayt butun vebda 2004-yilda mavjud bo‘lgan, taxminan 14 mingtasi esa Runetda 2006-yilda qayd etilgan.

Chuqur vebda qidirish

Aynan 2005-yilda «Yahoo!» kompaniyasi bu muammoni hal etish yo‘lida katta qadam qo‘ydi. Kompaniya «Yahoo! Subscriptions» qidiruv tizimini ishga tushirdi. Ushbu tizim faqat o‘sha saytlarda ro‘yxatdan o‘tgan foydalanuvchilar kira oladigan saytlarda (hozircha bunday saytlar ko‘p emas) qidiruv olib boradi. Biroq bu mavjud muammoni to‘liq hal qilmadi. Qidiruv tizimlari mutaxassislari ma’lumotlar bazalari mazmunini indekslash va yopiq veb-saytlarga kirishning texnik usullarini hanuz izlashmoqda.

Chuqur veb ma’lumotlari bilan ishlaydigan mashhur xizmatlardan biri — UFOseek. U dastlab paranormal hodisalar haqidagi ma’lumotlarni tizimlashtirish uchun yaratilgan.

Kontent turlari

Tarmoqdagi indekslanmaydigan kontent namunasi

Muayyan veb-serverdagi kontentni indekslash uchun uni bevosita topish har doim ham mumkin emas. Shunga qaramay, bunday saytga kirish mumkin (masalan, kompyuterdagi zaifliklardan foydalanib).

Internetdagi kontentni aniqlash uchun qidiruv tizimlari protokolning ma’lum virtual port raqamlari orqali giperhavolalarni kuzatadigan veb-skanerlardan foydalanadi. Bu usul Butunjahon vebdagi kontentni aniqlashda juda samarali, ammo chuqur veb kontentini izlashda ko‘pincha samarasiz. Masalan, qidiruv robotlari ma’lumotlar bazasiga yuborilgan so‘rovlar natijasida yaratiladigan dinamik sahifalarni qidirmaydi, chunki bunday so‘rovlarning ehtimoliy soni noma’lum. Qayd etilishicha, so‘rov natijalariga havolalar berish orqali bu muammoni (qisman) bartaraf etish mumkin. Ammo buning oqibatida chuqur vebning ayrim resurslari ommabopligi tasodifan sun’iy ravishda oshib ketishi mumkin.

Chuqur vebga kirish imkonini qo‘lga kiritgan bir nechta qidiruv tizimi mavjud. Intute loyihasini moliyalashtirish to‘xtatilgan va 2011-yil iyul holatiga ko‘ra, u vaqtinchalik arxiv sifatida saqlanmoqda. Scirus 2013-yil yanvar oyi oxirida yopilgan.

Tadqiqotchilar chuqur vebni, jumladan, faqat Tor kabi maxsus dasturlar orqali ko‘rish mumkin bo‘lgan kontentni qanday avtomatik skanerlash mumkinligini o‘rganishgan. 2001-yilda Shriram Ragxavan va Ektor Garsiya-Molina (Stenford universitetining kompyuter fanlari bo‘limi, Stenford universiteti) foydalanuvchilar taqdim etgan yoki so‘rov interfeyslaridan yig‘ilgan kalit so‘zlar yordamida chuqur internetga so‘rov yuboradigan va uni skanerlaydigan yashirin qidiruv tizimining arxitektura modelini taqdim etishgan.

Tijorat qidiruv tizimlari chuqur internetni skanerlashning muqobil usullarini o‘rgana boshladi. Sitemap protokoli (ilk bor Google tomonidan 2005-yilda ishlab chiqilib, joriy etilgan) hamda mod_oai — qidiruv tizimlari va boshqa manfaatdor tomonlarga ayrim veb-serverlardagi chuqur internet resurslarini aniqlash imkonini beradigan mexanizmlardir. Har ikkala mexanizm veb-serverlarda mavjud URL manzillarini e’lon qilishga imkon beradi. Natijada Butunjahon veb bilan bevosita bog‘lanmagan resurslarni avtomatik ravishda aniqlash mumkin bo‘ladi. Google’ning chuqur internet bo‘ylab navigatsiya tizimi har bir HTML shakli uchun ko‘rinishlarni hisoblab, hosil bo‘lgan HTML sahifalarni Google qidiruv tizimi indeksiga qo‘shadi. Olingan natijalar chuqur veb kontenti uchun soniyasiga mingta so‘rovni qamrab oladi. Ushbu tizimda ko‘rinishlarni oldindan hisoblash quyidagi uchta algoritm yordamida bajariladi:

  • kalit so‘zlarni qabul qiladigan matnli qidiruv uchun kirish qiymatlarini tanlash;
  • faqat muayyan turdagi qiymatlarni (masalan, sanalarni) qabul qiladigan kirish maydonlari uchun qiymatlarni tanlash;
  • internetdagi qidiruv indeksiga qo‘shishga mos URL manzillarini hosil qiladigan oz sonli kiritish kombinatsiyalarini tanlash.

Adabiyotlar