
Inson fikr-mulohazalariga asoslangan mustahkamlovchi o‘rganish (reinforcement learning from human feedback, RLHF; shuningdek inson afzalliklariga asoslangan mustahkamlovchi o‘rganish) — inson fikr-mulohazalari asosida bevosita «mukofot modeli»ni o‘qitib, undan agentning harakat strategiyasini optimallashtirish uchun mukofot funksiyasi sifatida foydalanadigan usul. Buning uchun mustahkamlovchi o‘rganish (RL) qo‘llaniladi. RLHF, ayniqsa mukofot funksiyasi siyrak yoki shovqinli bo‘lganida, RL agentlarining ishonchliligi hamda muhitni tadqiq etish qobiliyatini yaxshilashi mumkin.
Inson fikr-mulohazalari odamlardan agent xatti-harakatlarining turli namunalarini afzallik darajasiga ko‘ra tartiblashni so‘rash orqali yig‘iladi. So‘ng bu reytinglardan natijalarni baholashda foydalanish mumkin. Bunga misol — Elo reyting tizimi.
RLHF tabiiy tilni qayta ishlashning turli yo‘nalishlarida, jumladan, suhbatlashuvchi agentlarda, matnni avtomatik xulosalash va tabiiy tilni tushunishda qo‘llanilgan. Agentlar o‘z xatti-harakatlaridan mukofot funksiyasi asosida o‘rganadigan an’anaviy mustahkamlovchi o‘rganishni tabiiy tilni qayta ishlash vazifalariga tatbiq etish qiyin, chunki, ayniqsa insoniy qadriyatlar yoki afzalliklar bilan bog‘liq murakkab masalalarda, mukofotni aniqlash yoki o‘lchash oson emas. RLHF til modellariga ana shu murakkab qadriyat va afzalliklarga mos javoblar berish, batafsilroq javoblar yaratish hamda noo‘rin yoki modelning bilim doirasidan tashqaridagi savollarni rad etish imkonini berishi mumkin. RLHF yordamida o‘qitilgan til modellaridan biri — ChatGPT, uni ishlab chiqqan tashkilot — OpenAI. Uning avvalgi modeli InstructGPT, yana bir misol esa Sparrow bo‘lib, uni ishlab chiqqan tashkilot — DeepMind.
RLHF boshqa sohalarda, masalan, videoo‘yin botlarini ishlab chiqishda ham qo‘llangan. Masalan, OpenAI va DeepMind agentlarni inson afzalliklariga asoslanib Atari o‘yinlarini o‘ynashga o‘rgatgan. Agentlar sinovdan o‘tkazilgan ko‘plab muhitlarda yuqori natijalarga erishib, ko‘pincha inson imkoniyatlaridan ham oshib ketgan.
Muammolar va cheklovlar
RLHFning asosiy muammolaridan biri — insonlardan fikr-mulohaza yig‘ish jarayonini keng miqyosga moslashtirish va uning xarajatlaridir. Bu jarayon nazoratsiz o‘rganishga nisbatan sekinroq va qimmatroq bo‘lishi mumkin. Inson fikr-mulohazalarining sifati va izchilligi vazifa, interfeys hamda odamlarning shaxsiy afzalliklariga qarab farqlanishi mumkin. Hatto inson fikr-mulohazalarini olish imkoni bo‘lganda ham, RLHF modellari bu fikr-mulohazalarda aks etmagan nomaqbul xatti-harakatlarni namoyon qilishi yoki mukofot modelidagi bo‘shliqlardan foydalanishi mumkin. Bu esa modellarni inson maqsadlari va qadriyatlariga moslashtirish hamda ularning ishonchliligi bilan bog‘liq muammolarni ko‘rsatadi.