Generativ model nima

Generativ model (ingl. generative model) — statistik modelturi bo‘lib, u ehtimollik asosidagi tasniflash va boshqa mashinali o‘rganishmasalalarida qo‘llanadi hamda kuzatiladigan ma’lumotlarning qanday hosil bo‘lishini tavsiflaydi. Generativ model kuzatiladigan o‘zgaruvchilar bilan maqsadli o‘zgaruvchilarning qo‘shma ehtimollik taqsimotini belgilaydi va dastlabki ma’lumotlar tuzilishiga o‘xshash yangi ma’lumot namunalarini yaratish imkonini beradi.

Statistik tasniflashda ikkita yondashuv bir-biriga qarama-qarshi qo‘yiladi: generativ va diskriminativ (ingl. discriminative). Generativ modellar belgilar (X ma’lumotlar to‘plami) va sinflar (Y) o‘rtasidagi bog‘lanishlarning ehtimollik tavsifini tuzadi, diskriminativ modellar esa kuzatuv asosida muayyan sinfga mansublik ehtimolini bevosita baholaydi.

Bu sohadagi atamalar bir xil qo‘llanmaydi, ammo shartli ravishda modellarning uch asosiy turi ajratiladi:

  1. Generativ model — qo‘shma ehtimollik taqsimoti P(X,Y) ni berilgan kuzatiladigan o‘zgaruvchilar X va maqsadli o‘zgaruvchilar Yuchun tavsiflovchi statistik modeldir. Undan x kuzatuvlarining tasodifiy namunalarini yaratishda foydalanish mumkin.
  2. Diskriminativ model — shartli ehtimollik taqsimoti P(Y|X=x) orqali maqsadli o‘zgaruvchi Y ni berilgan kuzatuv xasosida tavsiflaydigan model. Bu model mos Y yorlig‘ini tanlashga xizmat qiladi. Buning uchun foydalaniladigan ma’lumot — x.
  3. Aniq ehtimollik modelisiz tuzilgan tasniflagichlar ham ko‘pincha «diskriminativ» deb ataladi.

So‘nggi ikki tur o‘rtasidagi chegaralar har doim ham aniq emas. Masalan, Jebara, Toni. Mashinali o‘rganish: diskriminativ va generativ yondashuvlar. — 2004. «generativ», «shartli» va «diskriminativ» o‘rganish tushunchalarini kiritadi, Ng, Endryu Y. Diskriminativ va generativ tasniflagichlar haqida / Endryu Y. Ng, Maykl I. Jordan. — 2002. esa faqat generativ (qo‘shma taqsimot) va diskriminativ (shartli taqsimot yoki ehtimollik modelining mavjud emasligi) yondashuvlarni ajratadi.

Chiziqli tasniflagichlarning odatiy misollari:

Tasniflash masalalarida kuzatuv x asosida to‘g‘ri y yorlig‘ini (yoki yorliqlar ehtimolliklari taqsimotini) aniqlash muhimdir. Buni ehtimollik modelini tuzmasdan bevosita (taqsimotga bog‘liq bo‘lmagan tasniflagich yordamida) amalga oshirish, yoki P(Y|X=x) ehtimolligini diskriminativ model orqali baholash, yoxud generativ model P(X,Y)ni tuzib, keyin undan P(Y|X=x) ni hisoblash va tasniflashni shu qiymatga asoslash mumkin. Usul qanchalik bilvosita bo‘lsa, u ehtimolliklar haqidagi shunchalik ko‘p ma’lumotdan foydalanadi va sohaga oid bilimlarni hisobga olish imkonini beradi. Amalda yondashuvni tanlash masalaning xususiyatlari hamda turli usullarni birlashtirish imkoniyatiga bog‘liq.

Ta’rif

Boshqacha ta’riflash mumkin:

  • Generativ model — kuzatiladigan ma’lumotlar X ning berilgan maqsadli yorliq ysharoitidagi shartli ehtimolligi modeli, ya’ni P(X|Y=y).
  • Diskriminativ model — maqsadli yorliq Y uchun berilgan kuzatuvga asoslangan shartli ehtimollik modelidir. Kuzatuv x: P(Y|X=x).

Aniq ta’rifidan qat’i nazar, generativ model yangi natijalar (namunalar), ya’ni (x,y)juftliklarini yoki x qiymatlarini belgilangan ysharoitida hosil qilishi mumkin. Diskriminativ model esa, aksincha, Y ning ehtimoli yuqori bo‘lgan qiymatini xorqali aniq belgilash uchun qo‘llanadi. «Diskriminatsiya» (farqlash) va «tasniflash» o‘rtasidagi tafovut juda nozik bo‘lib, har doim ham aniq ajratilmaydi. Jumladan, agar farqlash ma’nosi tasniflash bilan teng bo‘lsa, «diskriminativ tasniflagich» atamasi ortiqcha takror bo‘lishi mumkin.

«Generativ model» atamasi dastlabki ma’lumotlarning ehtimollik taqsimotiga bevosita bog‘lanmagan holda chiqish o‘zgaruvchilari namunalarini hosil qiladigan modellarni ham anglatishi mumkin (masalan, generativ raqobatlashuvchi tarmoqlar). Bunday modellar ehtimollik talqiniga ko‘ra emas, balki yaratgan ma’lumotlarining haqiqiy ma’lumotlarga o‘xshashligiga ko‘ra baholanadi va har doim ham tasniflagich hisoblanmaydi.

Yondashuvlar o‘rtasidagi bog‘liqlik

Odatda tasniflash masalalarida kuzatiladigan o‘zgaruvchi X odatda uzluksiz, maqsadli o‘zgaruvchi Y — diskret (yorliqlarning chekli to‘plamiga mansub) bo‘ladi. Bu holda shartli ehtimollik P(Y|X) nafaqat ehtimollik taqsimoti, balki stoxastik maqsad funksiyasi f:X→Ysifatida ham qaralishi mumkin.

Agar yorliqlar chekli sondagi qiymatlarni qabul qilsa, generativ modelning har ikkala ta’rifi o‘zaro chambarchas bog‘liq bo‘ladi. Shartli taqsimot modeli P(X|Y=y) har bir yorliq uchun taqsimotni mos qo‘yadi, qo‘shma taqsimot modeli esa yorliqlar taqsimoti P(Y) va yorliqlar bo‘yicha kuzatuvlar taqsimoti P(X|Y)ni bir vaqtda modellashtirishga tengdir, ya’ni P(X,Y)=P(X|Y)P(Y). Shunday qilib, qo‘shma taqsimot modeli ko‘proq ma’lumot beradi, biroq bu ikki ta’rif o‘rtasida o‘tish unchalik murakkab emas va ular orasidagi chegara ko‘pincha noaniq bo‘ladi.

Agar qo‘shma taqsimot modeli P(X,Y)mavjud bo‘lsa, alohida o‘zgaruvchilarning marginal taqsimotini aniqlash mumkin: P(X)=∑yP(X,Y=y) va P(Y)=∫xP(Y,X=x) (bunda X uzluksiz, Y esa diskret deb olinadi). Bundan tashqari, ikkala shartli taqsimotni ham shartli ehtimollik ta’rifidan topish mumkin: P(X|Y)=P(X,Y)/P(Y), P(Y|X)=P(X,Y)/P(X).

Bitta shartli taqsimot modeli hamda X va Yning aprior ehtimolliklari ma’lum bo‘lsa, teskari shartli taqsimotni hisoblash mumkin. Bunda Bayes formulasi:

P(X|Y)P(Y)=P(Y|X)P(X).

Masalan, generativ model P(X|Y)berilgan bo‘lsa, quyidagini baholash mumkin:

P(Y|X)=P(X|Y)P(Y)/P(X).

Agar diskriminativ model P(Y|X)mavjud bo‘lsa, unda:

P(X|Y)=P(Y|X)P(X)/P(Y).

Ba’zan Bayes formulasi bilan shartli ehtimollik ta’rifi bir-biriga aralashtiriladi.

Diskriminativ tasniflagichlar bilan taqqoslash

Generativ algoritm signalni tasniflash uchun ma’lumotlar qanday paydo bo‘lishini modellashtiradi. U «Ushbu signalni qaysi toifa eng katta ehtimol bilan hosil qilgan bo‘lishi mumkin?» degan savolga javob beradi. Diskriminativ algoritm ma’lumotlarning generatsiya jarayonini modellashtirmaydi, balki mavjud belgilar asosida tasniflaydi. Diskriminativ algoritmlar p(y|x) ni baholash uchun bevosita ma’lumotlar asosida o‘qitiladi va so‘ng tasniflashni amalga oshiradi; generativ algoritmlar esa p(x,y) modelini tuzadi va tasniflash uchun undan p(y|x) ni keltirib chiqaradi. Generativ yondashuvning afzalligi shundaki, p(x,y) modeli dastlabki ma’lumotlarga o‘xshash yangi namunalarni yaratish imkonini beradi. Biroq tasniflash masalalarida ayrim diskriminativ algoritmlar sifat jihatidan ayrim generativ algoritmlardan ustun bo‘lishi mumkinligi ham isbotlangan.

Diskriminativ modellar kuzatiladigan parametrlar taqsimotini modellashtirishni talab etmasa-da, ular ko‘pincha kuzatuv va maqsadli yorliq o‘rtasidagi murakkab bog‘liqliklarni aks ettira olmaydi. Shunga qaramay, generativ va diskriminativ usullar ko‘pincha bir-birini to‘ldiradi hamda bir jarayonning ikki tomoni sifatida qaralishi mumkin.

Chuqur generativ modellar

Tobora ommalashib borayotgan chuqur o‘rganish natijasida usullarning yangi oilasi — chuqur generativ modellar (ingl. deep generative models, DGMs) paydo bo‘ldi. Ular generativ modellashtirish va chuqur neyron tarmoqlarni birlashtiradi. Neyron tarmoqlar miqyosi ortishi bilan yuqori samaradorlikka erishish uchun kerakli o‘quv ma’lumotlari hajmi ham odatda oshadi.

Taniqli chuqur generativ modellarga variatsion avtokodlagichlar (VAE), generativ raqobatlashuvchi tarmoqlar (GAN) hamda avtoregressiv til modellari kiradi. So‘nggi vaqtlarda juda katta DGMlar ishlab chiqilmoqda. Masalan, GPT-3 va undan avvalgi GPT-2 — milliardlab parametrga ega avtoregressiv til modellari; BigGAN va VQ-VAE tasvir yaratishda qo‘llanadi (yuz millionlab parametr), Jukebox esa musiqiy audio yaratadigan yirik generativ modeldir (milliardlab parametr).

Turlari

Generativ modellar

Generativ modellarning asosiy turlariga quyidagilar kiradi:

Agar kuzatiladigan ma’lumotlar haqiqatan ham generativ modeldan olingan bo‘lsa, maksimal haqiqatga o‘xshashlikni baholash orqali parametrlarni aniqlash modelni o‘qitishning tabiiy usuli hisoblanadi. Biroq statistik modellarning aksariyati «haqiqiy» taqsimotni faqat taxminan tavsiflagani sababli, muayyan masalalarda ortiqcha farazlardan qochish uchun diskriminativ model yordamida shartli taqsimotni bevosita modellashtirish ko‘pincha ma’qulroq. Yakuniy yondashuv tanlovi qo‘llanish sohasining xususiyatlariga bog‘liq.

Diskriminativ modellar

Misollar

Oddiy misol

Kirishda x∈{1,2}ma’lumotlari, yorliqlar to‘plami esa y∈{0,1}bo‘lsin; jami quyidagi 4 ta kuzatuv mavjud: (x,y)={(1,0), (1,1), (2,0), (2,1)}

Qo‘shma ehtimollik taqsimotining p(x,y) empirik o‘lchov asosidagi bahosi:

y=0y=1
x=11/41/4
x=21/41/4

Bu holda p(y|x) taqsimoti:

y=0y=1
x=1 1/21/2
x=21/21/2

Adabiyotlar

Havolalar