Transformer (ingl. Transformer) — chuqur neyron tarmoqlari arxitekturasi, 2017-yilda Google Brain va Google Research tadqiqotchilari tomonidan quyidagi maqolada taqdim etilgan: «Diqqat — sizga kerak bo‘lgan yagona narsa».
Rekurrent neyron tarmoqlar (RNT / RNN) kabi transformerlar ham tabiiy tildagi matn singari ketma-ketliklarni qayta ishlash, jumladan, mashinaviy tarjima va avtomatik matnni qisqacha bayon qilish kabi vazifalarni bajarish uchun mo‘ljallangan. Biroq RNTdan farqli ravishda transformerlar ketma-ketlik elementlarini qat’iy tartibda qayta ishlashi shart emas. Masalan, kirish ma’lumoti matn bo‘lsa, transformer avval matnning boshini, keyin oxirini qayta ishlashi talab etilmaydi. Shu sababli transformerlarni parallel hisoblashga moslashtirish RNTga qaraganda osonroq bo‘lib, ularni tezroq o‘qitish mumkin.
Transformerlarning ustunligi shundaki, ularda rekurrent bloklar yo‘q. Shu bois, ularni o‘qitish uchun hatto RNT / RNNning «uzoq qisqa muddatli xotira» (LSTM) kabi takomillashtirilgan arxitekturalariga qaraganda ham kamroq vaqt talab etiladi. Transformerlarning keyingi modifikatsiyalari katta til modellarini (KTM / LLM) katta hajmdagi ma’lumotlar to‘plamlarida o‘qitishda keng qo‘llanila boshlandi.
Tarmoq arxitekturasi
Transformer arxitekturasi kodlovchi va dekodlovchidan iborat. Kodlovchi kirishda vektor ko‘rinishidagi ketma-ketlikni va unga tegishli pozitsiya ma’lumotlarini qabul qiladi. Dekodlovchi kirishiga ushbu ketma-ketlikning bir qismi va kodlovchi chiqishi uzatiladi. Kodlovchi ham, dekodlovchi ham qatlamlardan tashkil topadi. Kodlovchining har bir qatlami o‘z natijasini keyingi qatlamga kirish ma’lumoti sifatida uzatadi. Dekodlovchining har bir qatlami esa o‘z natijasini kodlovchi natijasi bilan birga keyingi qatlamning kirishiga uzatadi.
Har bir kodlovchi o‘ziga e’tibor mexanizmi (oldingi qatlamdan keladigan kirish ma’lumoti) va oldinga yo‘naltirilgan neyron tarmog‘i (o‘ziga e’tibor mexanizmidan keladigan kirish ma’lumoti)dan iborat. Har bir dekodlovchida o‘ziga e’tibor mexanizmi (oldingi qatlamdan keladigan kirish ma’lumoti), kodlash natijalariga e’tibor mexanizmi (o‘ziga e’tibor mexanizmi va kodlovchidan keladigan kirish ma’lumoti) hamda oldinga yo‘naltirilgan neyron tarmog‘i (e’tibor mexanizmidan keladigan kirish ma’lumoti) mavjud.
- Transformer
- Kodlovchi qatlam
- Dekodlovchi qatlam
Pozitsion kodlash
Pozitsion kodlash (Positional Encoding) — transformerlarning muhim tarkibiy qismi bo‘lib, modelga ketma-ketlikdagi elementlar tartibini hisobga olish imkonini beradi. Chunki o‘ziga e’tibor mexanizmi (Self-Attention) pozitsiyalar haqidagi ma’lumotni o‘z-o‘zidan aniqlay olmaydi. Transformerlar RNNdan farqli ravishda kirish ma’lumotlarini parallel qayta ishlaydi. Shu sababli qo‘shimcha belgilarsiz model elementlar tartibini «ko‘ra olmaydi». Pozitsion kodlash ketma-ketlikdagi har bir tokenning o‘rni haqidagi ma’lumotni qo‘shadi. Dastlabki maqolada token pozitsiyasini embeddingga (vektorli ifodaga) kodlash uchun sinus va kosinus to‘lqin funksiyalaridan foydalanilgan.
bu yerda , , mos ravishda so‘zning pozitsiyasi, o‘lchamning joriy indeksi va model o‘lchamini bildiradi. Vektorli ifodaning (embedding) juft indekslari uchun sinus, toq indekslari uchun esa kosinus funksiyasi qo‘llanadi. Hosil bo‘lgan vektorli ifoda keyin joriy kontekst oynasidagi tegishli pozitsiyada joylashgan so‘zga qo‘shiladi.
Sinusoidal funksiyalar (sin/cos) modelga o‘qitish jarayonida uchraganidan uzunroq ketma-ketliklarga ham oson interpolatsiya qilish imkonini bergani uchun tanlangan.
Skalyar ko‘paytma asosidagi e’tibor
E’tibor mexanizmi so‘rov vaznlari matritsasi , kalit vaznlari matritsasi va qiymat vaznlari matritsasi orqali parametrlashtiriladi. Kirishdagi vektorining vektoriga nisbatan e’tiborini hisoblash uchun , , vektorlari hisoblanadi. Ushbu vektorlar yordamida e’tibor natijasi quyidagi formula bo‘yicha aniqlanadi:
Qo‘llanilishi
Transformerlar quyidagi xizmatlarda qo‘llaniladi: Yandeks Tarjimon, Yandeks Yangiliklar, Google Tarjimon.
Transformer arxitekturasi asosida faqat dekodlovchidan iborat model (Decoder-only model) yaratildi. Uni katta hajmdagi til ma’lumotlarida oldindan o‘qitish natijasida generativ pre-o‘qitilgan transformerlar deb ataladigan GPT modellari turkumi vujudga keldi. Jumladan, GPTning 3.5-versiyasi asosida, foydalanuvchi ko‘rsatmalariga amal qilish qobiliyati kuchaytirilgan InstructGPT modelidan foydalanib, generativ sun’iy intellektga asoslangan maxsus suhbat-bot (Generative AI chatbot) — ChatGPT.