Entropiya (qadimgi yunoncha ἐν «ichida» + τροπή «burilish; o‘zgarish») — tabiiy va aniq fanlarda keng qo‘llanadigan atama (ilk bor termodinamikada termodinamik tizimning holat funksiyasi sifatida kiritilgan) bo‘lib, energiyaning qaytmas tarqalishi o‘lchovini, ya’ni energiya miqdorining ish bajarishga yaroqsiz qismi o‘lchovini bildiradi (chunki tizim energiyasini to‘liq foydali ishga aylantirib bo‘lmaydi).

Fizikaning ushbu bo‘limida entropiya tushunchasi uchun termodinamik entropiya atamasi ishlatiladi; u odatda muvozanatli (qaytar) jarayonlarni tavsiflashda qo‘llanadi.

Aynan statistik fizikada entropiya ehtimollik orqali muayyan makroskopik holatning yuzaga kelishini tavsiflaydi. Fizikadan tashqari, bu atama matematikada ham keng qo‘llanadi: axborot nazariyasi va matematik statistikada. Ushbu fanlarda entropiya statistik usulda aniqlanib, statistik yoki axborot entropiyasi deb ataladi. Entropiyaning bu ta’rifi, shuningdek, Shennon entropiyasi (matematikada) va Boltsman—Gibbs entropiyasi (fizikada) deb ham yuritiladi.

Termodinamik va axborot entropiyasi tushunchalari turli yondashuvlarda kiritilgan bo‘lsa-da, ularning umumiy fizik ma’nosi bor — bu tizimning mavjud holatlari sonining logarifmi hisoblanadi. Ushbu tushunchalar o‘rtasidagi bog‘liqlikni birinchi bo‘lib Lyudvig Boltsman aniqlagan. Nomuvozanatli (qaytmas) jarayonlarda entropiya tizim holatining muvozanatgaqanchalik yaqinligini ham ifodalaydi: entropiya qancha katta bo‘lsa, tizim muvozanatga shuncha yaqin bo‘ladi ( termodinamik muvozanat holatida tizim entropiyasi eng katta qiymatga ega).

Entropiyaga qarama-qarshi bo‘lgan kattalik negentropiya yoki kamroq hollarda ekstropiya.

• Termodinamik entropiya — termodinamik tizimda energiyaning qaytmas dissipatsiyasi (tarqalishi) darajasini tavsiflovchi termodinamik funksiya.
• Xususan, statistik fizikada — tizimning muayyan makroskopik holati yuzaga kelish ehtimolini tavsiflaydi.
• Xususan, matematik statistikada — noaniqlik o‘lchovi bo‘lib, ehtimolliklar taqsimotini tavsiflaydi.
• Axborot entropiyasi — axborot nazariyasida xabarlar manbayining noaniqlik o‘lchovi bo‘lib, belgilarni uzatishda ularning paydo bo‘lish ehtimolliklari bilan belgilanadi.
• Dinamik tizim entropiyasi — dinamik tizimlar nazariyasida tizim trayektoriyalari xatti-harakatidagi tartibsizlik o‘lchovi.
• Differensial entropiya — uzluksiz taqsimotlar uchun entropiya tushunchasining formal umumlashtirilishi.
• Aks ettirish entropiyasi — diskret tizim haqidagi axborotning tizimni tarkibiy qismlar majmuasi orqali aks ettirganda qayta tiklanmaydigan qismi.
• Entropiya boshqaruv nazariyasida — berilgan sharoitlarda tizim holati yoki xatti-harakatining noaniqlik o‘lchovi.
• Texnologik entropiya — «muayyan texnologiyaning birlik deb qabul qilingan dunyodagi eng yuqori darajadan ortda qolishini miqdoriy ifodalovchi o‘lchov. Texnologik entropiya darajasini tavsiflovchi asosiy parametr yakuniy natijani olishdagi noaniqlik darajasidir, ya’ni ishlab chiqarishga jalb etilgan resurslarning berilgan hajmi hisobiga olinishi mumkin bo‘lgan innovatsion mahsulot hajmidagi noaniqlik».

Entropiya tushunchasi ilk bor Klauzius tomonidan termodinamikaga aynan 1865-yilda energiyaning qaytmas tarqalishi darajasini va haqiqiy jarayonning ideal jarayondan og‘ishini aniqlash uchun kiritilgan. Keltirilgan issiqlik miqdorlari yig‘indisi sifatida aniqlangan entropiya holat funksiyasi bo‘lib, yopiq qaytar jarayonlarda o‘zgarmaydi, yopiq qaytmas jarayonlarda esa uning o‘zgarishi doimo musbat bo‘ladi. Ochiq tizimda energiya, masalan, nurlanish ko‘rinishida chiqib ketishi hisobiga ko‘rib chiqilayotgan tizim entropiyasi kamayishi mumkin, bunda atrof-muhitning umumiy entropiyasi ortadi.

Matematik nuqtayi nazardan entropiya tizimning ixtiyoriy o‘zgarmas qo‘shiluvchi aniqligigacha belgilangan holat funksiyasidir. Ta’rifga ko‘ra, 1 va 2 muvozanat holatlaridagi entropiyalar farqi tizimni birinchi holatdan ikkinchi holatga o‘tkazish uchun berilishi lozim bo‘lgan keltirilgan issiqlik miqdoriga (${\displaystyle \delta Q/T}$) teng. Tizimni 1-holatdan 2-holatga o‘tkazish uchun istalgan kvazistatik yo‘lda shu miqdordagi issiqlik berilishi kerak:

Entropiya ixtiyoriy additiv o‘zgarmasgacha aniqlangani sababli 1-holatni shartli ravishda boshlang‘ich deb olib, ${\displaystyle S_1=0}$. U holda

Bu yerda integral istalgan kvazistatik jarayonuchun olinadi. ${\displaystyle S}$ funksiyasining differensiali quyidagi ko‘rinishga ega:

Entropiya makroholatlar va mikroholatlar o‘rtasidagi bog‘lanishni belgilaydi. Bu tavsifning o‘ziga xosligi shundaki, u fizikadagi jarayonlarning yo‘nalishini ko‘rsatuvchi yagona funksiyadir. Entropiya holat funksiyasi bo‘lgani uchun tizimning bir holatdan boshqasiga qanday o‘tgani muhim emas; u faqat tizimning boshlang‘ich va oxirgi holatlari bilan aniqlanadi.

Entropiya uchun (ko‘proq matematikada) «Shennon axboroti» yoki «axborot miqdori» atamasi ham qo‘llanadi; u Shennon nomi bilan bog‘liq.

Entropiyani noaniqlik (tartibsizlik) yoki ayrim tizimlarning murakkabligi o‘lchovi sifatida talqin qilish mumkin. Masalan, tajriba (sinov) turli natijalar berishi, demak, turlicha axborot miqdori bilan bog‘liq bo‘lishi mumkin. Shunday qilib, entropiyaning yana bir talqini — tizimning axborot sig‘imi hisoblanadi. Bu talqinning kelib chiqishi ham qiziq: entropiya tushunchasini axborot nazariyasiga kiritgan olim (Klod Shennon) dastlab ushbu kattalikni axborot deb atamoqchi bo‘lgan.

Mazkur axborot entropiyasi tushunchasi quyidagi sohalarda qo‘llanadi: axborot nazariyasi va matematik statistika, shuningdek, statistik fizika (Gibbs entropiyasi va uning soddalashtirilgan ko‘rinishi — Boltsman entropiyasi). Matematik ma’noda axborot entropiyasi — tizim uchun mavjud holatlar sonining logarifmidir (logarifm asosi turlicha bo‘lishi mumkin, ammo 1 dan katta bo‘ladi va entropiya o‘lchov birligini belgilaydi). Holatlar soniga bog‘liq bu funksiya mustaqil tizimlar entropiyasining additivlik xossasini ta’minlaydi. Agar holatlar yuzaga kelish imkoniyatiga ko‘ra farqlansa (ya’ni teng ehtimolli bo‘lmasa), tizim holatlari soni deganda quyidagicha aniqlanadigan samarali holatlar soni tushuniladi.

Tizim holatlari teng ehtimolli va ularning ehtimolligi ${\displaystyle p}$ bo‘lsin. U holda holatlar soni ${\displaystyle N=1/p}$, hamda ${\displaystyle \log N=\log (1/p)}$. Holatlar ehtimolligi turlicha bo‘lsa, ${\displaystyle p_i}$ quyidagi vaznli o‘rtacha kattalikni

${\displaystyle \log \bar{N}=\sum _{i=1}^N{p}_i\log (1/p_i),}$

ko‘rib chiqamiz. Bu yerda ${\displaystyle \bar{N}}$ — holatlarning samarali soni. Ushbu talqindan bevosita Shennon axborot entropiyasining ifodasi kelib chiqadi:

${\displaystyle H=\log \bar{N}=-\sum _{i=1}^N{p}_i\log p_i.}$

Shunga o‘xshash talqin Renyi entropiyasi uchun ham o‘rinlidir. U axborot entropiyasi tushunchasining umumlashmalaridan biridir. Ammo bu holda samarali holatlar soni boshqacha aniqlanadi. Renyi entropiyasiga mos keluvchi samarali holatlar soni vaznli darajali o‘rtacha ko‘rinishida, parametr ${\displaystyle q\le 1}$ bo‘yicha quyidagi kattaliklardan aniqlanadi: ${\displaystyle 1/p_i}$.

Shuni ta’kidlash kerakki, Shennon formulasini vaznli o‘rtacha orqali talqin qilish uning isboti emas. Ushbu formulaning qat’iy keltirib chiqarilishi kombinatorik mulohazalar va asimptotik Stirling formulasi yordamida olinadi. Bunda taqsimotning kombinatorikligi (ya’ni uni amalga oshirish usullari soni) logarifmlanib normallashtirilgandan so‘ng limitda Shennon taklif etgan entropiya ifodasiga mos keladi.

Odatda «tizim tartibsizligi yoki noaniqligi o‘lchovi» sifatida ta’riflanadigan entropiya evolyutsion jarayonlarning yo‘nalishini muhokama qilishda tez-tez qo‘llanadi. Bu qarashga ko‘ra, biosfera — Quyosh nurlanishining cheksiz entropiyasidan «oziqlanadigan» nihoyatda murakkab, o‘zini o‘zi tashkil etuvchi tuzilmadir. Bakteriorodopsin xuddi xlorofill kabi (tunnel effekti) elektromagnit nurlanishni kimyoviy bog‘lar energiyasiga aylantirish vazifasini bajaradi. Tartib haqida gapiradigan bo‘lsak, fotosintetik elektron tashish zanjiri elementlarining joylashuvdagi tartibliligi fotosintetik membrana ( xloroplastlarningtuzilmaviy birligi) orqali ta’minlanadi. U elektronlar va protonlarning yo‘naltirilgan ko‘chishini belgilaydi, ionlarning elektrokimyoviy potensiallari farqini hosil qilib saqlaydi, oksidlangan hamda qaytarilgan mahsulotlarni ajratadi va ularning qayta birikishiga yo‘l qo‘ymaydi.

Tashkiliy murakkablik tirik va jonsiz tabiatda barqarorlikka turlicha ta’sir ko‘rsatadi, deb hisoblanadi. Jonsiz tabiatda murakkablikning ortishi tirik moddaning barqarorligi pasayishiga olib keladi. Aksincha, tirik tabiatda murakkab (ijtimoiy) tuzilmalar alohida tarkibiy qismlarning har biriga qaraganda (yashab qolish qobiliyati ma’nosida) barqarorroqdir. Masalan, oz sonli hujayralardan tuzilgan organizmlar (chivinlar kabi) ko‘p sonli hujayralardan tuzilgan organizmlardan (fillar kabi) ancha ko‘p. Biroq bu elementar tarkibiy qismga nisbatan olingan barqarorlik haqida hech narsa demaydi. Agar sitolog statistik tadqiqot o‘tkazib, tasodifiy ravishda hujayralar to‘plamini yig‘sa, unda eng ko‘p sutemizuvchilarga mansub hujayralarni uchratgan bo‘lardi. Bu tirik organizmlar murakkablashgani sari ularning elementar tarkibiy qismlari (hujayralari) barqarorligi sezilarli darajada ortishini ko‘rsatadi.

Shennonning entropiya ta’rifiga o‘xshash tarzda uyushganlik o‘lchovi sifatida quyidagi kattalikni ko‘rib chiqish mumkin:

${\displaystyle G=-\sum _{i=1}^{N+1}{p}_i\log p_i,}$

bunda ${\displaystyle p_i}$ — ${\displaystyle n_i,}$ mavjud bog‘lari sonining ${\displaystyle i}$ shu element uchun mumkin bo‘lgan barcha ${\displaystyle N}$ bog‘lar soniga nisbati. Axborot manbasi entropiyasini ta’riflashdagi kabi, bu yerda ham ${\displaystyle 0\le p_i\le 1,}$ shart o‘rinli, biroq ${\displaystyle \sum _i{p}_i=1,}$ entropiya ta’rifida bajariladigan shart bu yerda bajarilmaydi va uning o‘rniga quyidagi tengsizlik qo‘llanadi: ${\displaystyle 0\le \sum _i{p}_i\le (N+1).}$ Bog‘lanishi bo‘lmagan ${\displaystyle i,}$ element uchun ${\displaystyle p_i=0.}$ Aksincha, ${\displaystyle i}$ element qolgan barcha ${\displaystyle N}$ elementlar bilan bog‘langan bo‘lsa, ${\displaystyle p_i=1}$ va ${\displaystyle \log p_i=0.}$

Nisbiy uyushganlik o‘lchovining ifodasi quyidagicha yoziladi:

${\displaystyle G=-\sum _{i=1}^{N+1}\frac{n_i}{N}\log \frac{n_i}{N}=-\frac{1}{N}\sum _{i=1}^{N+1}(n_i\log n_i+n_i\log \frac{1}{N})=-\frac{1}{N}\log \frac{1}{N}\sum _{i=1}^{N+1}{n}_i-\frac{1}{N}\sum _{i=1}^{N+1}{n}_i\log n_i.}$

Eng yuqori uyushganlik ${\displaystyle G}$ barcha ${\displaystyle p_i}$ bo‘yicha nolga tenglashtirilganda topiladi va natijada ${\displaystyle N+1}$ ta tenglamadan iborat tizim kelib chiqadi:

${\displaystyle \frac{dG}{\partial p_j}=-\frac{d}{\partial p_j}\sum _{i=1}^{N+1}{p}_i\log p_i=0(j=\overline{1,(N+1)}).}$

Bu tenglamalarning har biri uchun quyidagi munosabat o‘rinlidir:

${\displaystyle \frac{dG}{\partial p_j}=-\frac{d}{\partial p_j}(p_j\log p_j)-\frac{d}{\partial p_j}\sum _{i\ne j}{p}_i\log p_i=-\log e-\log p_j-0=0,\log p_j=-\log e=\log \frac{1}{e}.}$

Demak, eng yuqori uyushganlikka erishish uchun bog‘lanish nisbati ${\displaystyle p_i=\frac{1}{e}}$ ga teng bo‘lishi kerak (bu yerda ${\displaystyle e}$ — Eyler soni), ${\displaystyle G_{\mathrm{m}\mathrm{a}\mathrm{x}}=(N+1)\frac{1}{e}\log e.}$

Uyushganlikning bunday nostoxastik talqini bir qator qiziqarli xulosalar chiqarishga imkon berishi bilan ham afzaldir. Ikki element orasida oraliq elementlar orqali bog‘lanish mavjudligini bog‘lanish darajasida hisobga olish uchun ${\displaystyle i,}$ elementga keluvchi bog‘lar soni o‘rniga quyidagi ifodadan aniqlanadigan sondan foydalanish zarur:

${\displaystyle n_i=\sum _{j\ne i}{m}_{i,j},}$

bunda ${\displaystyle m_{i,j}=m_{j,i}}$ — ${\displaystyle i}$ va ${\displaystyle j.}$ Bu holda ${\displaystyle p_i}$ element uchun formulada ilgari ishlatilgan bog‘lar soni o‘rniga bog‘lanishning nisbiy umumiy kuchini bildiradi. ${\displaystyle i.}$

• texnika fanlari nomzodi S. L. Demenok Oddiy entropiya. — «Fraktallar va xaos» nashrlar turkumi. — Sankt-Peterburg: «STRATA», 2019.
• P. Shambadal Entropiya tushunchasining rivojlanishi va qo‘llanilishi. — Moskva: Nauka, 1967. — 280 bet
• N. Martin, J. Inglend Entropiyaning matematik nazariyasi. — Moskva: Mir, 1988. — 350 bet
• A. Ya. Xinchin Ehtimolliklar nazariyasida entropiya tushunchasi // Matematika fanlari yutuqlari. — 1953. — 8-jild, 3(55)-son. — 3—20-betlar.
• P. Glensdorf, I. Prigojin Tuzilish, barqarorlik va fluktuatsiyalarning termodinamik nazariyasi. — Moskva, 1973.
• I. Prigojin, I. Stengers Xaosdan tartib. Insonning tabiat bilan yangi muloqoti. — Moskva, 1986.
• L. Bryullyuen Fan va axborot nazariyasi. — Moskva, 1960.
• N. Viner Kibernetika va jamiyat. — Moskva, 1958.
• N. Viner Kibernetika yoki hayvon va mashinada boshqaruv hamda aloqa. — Moskva, 1968.
• S. de Groot, P. Mazur Nomuvozanat termodinamikasi. — Moskva, 1964.
• A. Zommerfeld Termodinamika va statistik fizika. — Moskva, 1955.
• L. A. Petrushenko Kibernetika nuqtayi nazaridan materiyaning o‘z-o‘zidan harakatlanishi. — Moskva, 1974.
• U. R. Eshbi Kibernetikaga kirish. — Moskva, 1965.
• A. M. Yaglom, I. M. Yaglom Ehtimollik va axborot. — Moskva, 1973.
• M. V. Volkenshteyn Entropiya va axborot. — Moskva: Nauka, 1986. — 192 bet
• Ye. S. Ventsel Ehtimolliklar nazariyasi. — Moskva: Nauka, 1969. — 576 bet
• R. G. Zaripov Axborot nazariyasidagi yangi o‘lchovlar va usullar. — Qozon: Qozon davlat texnika universiteti nashriyoti, 2005. — 364 bet
• Ya. Z. Sipkin Identifikatsiyaning axborot nazariyasi. — Moskva: Nauka. Fizmatlit, 1995. — 336 bet
• A. N. Kolmogorov Axborot nazariyasi va algoritmlar nazariyasi. — Moskva: Nauka, 1987. — 304 bet

• Fraktallar va xaos — ilmiy-ommabop adabiyotlar nashriyotining loyihasi «STRATA», Sankt-Peterburg