Entrópia

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2022. augusztus 25-én felülvizsgált verziótól ; az ellenőrzéshez 41 szerkesztés szükséges .

Az entrópia ( más görög ἐν  „be” + τροπή „visszafordítás; átalakulás” szóból) a természet- és az egzakt tudományokban  széles körben használt kifejezés (először a termodinamika keretében vezették be a termodinamikai rendszer állapotának függvényében ), mértéket jelöl. az energia visszafordíthatatlan disszipációja vagy az energia haszontalansága (mivel a rendszer nem minden energiája használható fel hasznos munkára ). Az entrópia fogalmára ebben a részben a fizikusok a termodinamikai entrópia elnevezést használják ; A termodinamikai entrópiát általában az egyensúlyi (reverzibilis) folyamatok leírására használják .

A statisztikai fizikában az entrópia bármely makroszkopikus állapot megvalósulásának valószínűségét jellemzi . A fizika mellett a kifejezést széles körben használják a matematikában: információelméletben és matematikai statisztikában . Ezeken a tudásterületeken az entrópiát statisztikailag határozzák meg, és statisztikai vagy információs entrópiának nevezik. Az entrópia ezen definícióját Shannon -entrópiának (matematikában) és Boltzmann-Gibbs-entrópiának (a fizikában) is ismerik.

Bár a termodinamikai és az információs entrópia fogalmát különböző formalizmusok keretein belül vezetik be, közös fizikai jelentésük van - a rendszer elérhető mikroállapotainak számának logaritmusa . E fogalmak közötti kapcsolatot először Ludwig Boltzmann állapította meg . Nem egyensúlyi (irreverzibilis) folyamatokban az entrópia a rendszer állapotának az egyensúlyhoz való közelségének mértéke is : minél nagyobb az entrópia, annál közelebb van a rendszer az egyensúlyhoz ( termodinamikai egyensúlyi állapotban a rendszer entrópiája a rendszer maximális).

Az entrópia ellentétét negentrópiának vagy ritkábban extrópiának nevezik .

Használata különböző tudományágakban

A termodinamikában

Az entrópia fogalmát először Clausius vezette be a termodinamikában 1865 - ben , hogy meghatározza az energia visszafordíthatatlan disszipációjának mértékét, egy valós folyamat ideálistól való eltérésének mértékét. A redukált hők összegeként definiálva állapotfüggvény , és zárt reverzibilis folyamatokban állandó marad , míg irreverzibilis zárt folyamatokban változása mindig pozitív. Nyílt rendszerben a vizsgált rendszer entrópiájának csökkenése következhet be az energia eltávolítása miatt, például sugárzás formájában, miközben a környezet teljes entrópiája nő [1] .

Matematikailag az entrópiát a rendszer állapotának függvényeként határozzuk meg, egy tetszőleges állandóig. Az entrópiák különbsége két egyensúlyi 1-es és 2-es egyensúlyi állapotban definíció szerint megegyezik a csökkentett hőmennyiséggel ( ), amelyet jelenteni kell a rendszernek ahhoz, hogy az 1-es állapotból a 2-es állapotba kerüljön bármely kvázistatikus úton . [2] :

. (egy)

Mivel az entrópia egy tetszőleges additív állandóig van definiálva, feltételesen vehetjük kezdeti állapotnak az 1-es állapotot, és feltehetjük . Akkor

, (2)

Itt az integrált egy tetszőleges kvázistatikus folyamathoz vesszük . A függvénykülönbségnek van formája

. (3)

Az entrópia kapcsolatot hoz létre a makro- és mikroállapotok között. Ennek a jellemzőnek a sajátossága abban rejlik, hogy a fizikában ez az egyetlen függvény, amely a folyamatok irányát mutatja. Mivel az entrópia állapotfüggvény, nem attól függ, hogyan történik az átmenet a rendszer egyik állapotából a másikba, hanem csak a rendszer kezdeti és végső állapota határozza meg.

Az entrópia fizikai jelentése

Az entrópiát mint fizikai mennyiséget az absztraktsága különbözteti meg, az entrópia fizikai jelentése nem következik közvetlenül annak matematikai kifejezéséből, és nem alkalmas egyszerű intuitív észlelésre.

Fizikai szempontból az entrópia egy valós termodinamikai folyamat irreverzibilitásának, nem-idealitásának mértékét jellemzi. Ez az energia disszipáció (disszipáció) mértéke , valamint az energia értékelésének mértéke a hő munkává alakítására való felhasználási alkalmassága (vagy hatékonysága) szempontjából. [3] Az utolsó két állítás nem vonatkozik a szokatlan negatív abszolút hőmérsékletű rendszerekre, amelyekben a hő spontán módon teljesen munkává alakulhat.

Információelméletben

Az entrópiára (a matematikában gyakrabban) a Shannon-információ elnevezés vagy az információmennyiség Shannon szerint [4] is szerepel .

Az entrópia értelmezhető valamely rendszer bizonytalanságának (zavarának) vagy összetettségének mérőszámaként, például bármilyen tapasztalat (teszt) esetében, amelynek különböző kimenetele lehet, és így az információ mennyisége is [5] [6] . Így az entrópia másik értelmezése a rendszer információs kapacitása . Ehhez az értelmezéshez kapcsolódik, hogy az entrópia információelméleti fogalmának megalkotója ( Claude Shannon ) ezt a mennyiséget először információnak akarta nevezni .

Az információs entrópia fogalmát mind az információelméletben és a matematikai statisztikában , mind a statisztikai fizikában használják ( Gibbs entrópia és egyszerűsített változata - Boltzmann entrópia ) [7] [8] . Az információs entrópia matematikai jelentése  a rendszer elérhető állapotainak számának logaritmusa (a logaritmus alapja eltérő lehet, de 1-nél nagyobb, ez határozza meg az entrópia mértékegységét) [9] . Az állapotok számának ilyen függvénye biztosítja az entrópia additív tulajdonságát független rendszerek számára. Sőt, ha az állapotok a hozzáférhetőség mértékében különböznek (vagyis nem egyformán valószínűek), akkor a rendszerállapotok számán kell érteni azok effektív számát, amelyet a következőképpen határozunk meg.

Legyenek a rendszer állapotai egyenlő valószínűséggel és valószínűséggel , akkor az állapotok száma , a . Különböző állapotvalószínűségek esetén vegyük figyelembe a súlyozott átlagértéket

hol  az állapotok effektív száma. Ebből az értelmezésből közvetlenül következik Shannon információs entrópiájának kifejezése :

Hasonló értelmezés érvényes a Renyi-entrópiára is, amely az információs entrópia fogalmának egyik általánosítása , de ebben az esetben a rendszerállapotok effektív száma másként van meghatározva. A Rényi-entrópia a [10]-ben definiált állapotok effektív számának felel meg a súlyozott hatványtörvény átlagaként , paraméterrel .

Megjegyzendő, hogy a Shannon-képlet súlyozott átlagon alapuló értelmezése nem indokolja. Ennek a képletnek a szigorú levezetése kombinatorikus megfontolásokból a Stirling-féle aszimptotikus képlet felhasználásával abban rejlik, hogy a kombinatorikus eloszlás (vagyis a megvalósítási módok száma) a logaritmus felvétele és a határérték normalizálása után egybeesik. az entrópia kifejezéssel a Shannon által javasolt formában [11] [12] .

A biológiában

Az entrópiát, amelyet általában "a rendszer rendezetlenségének vagy határozatlanságának mértékeként" vezetnek be, gyakran használják az evolúciós folyamatok irányával kapcsolatos érveléshez. E nézőpont szerint a bioszféra egy szuperkomplex önszerveződő szerkezet, amely a napsugárzás korlátlan entrópiájából "táplál" [13] [14] . A bakteriorodopszin ugyanazt a funkciót látja el, mint a klorofill (alagúthatás) - biztosítja az elektromágneses sugárzás kémiai kötések energiájává történő átalakítását. Ha rendezettségről beszélünk, akkor a fotoszintetikus elektrontranszport lánc elemeinek elrendezésének rendezettségét a fotoszintetikus membrán (a kloroplasztok szerkezeti egysége ) biztosítja, amely meghatározza az elektronok és protonok irányított átvitelét, létrehozva és fenntartva a különbséget. ionok elektrokémiai potenciáljai, az oxidált és redukált termékek szétválasztása és rekombinációjuk megakadályozása [15] .

Úgy gondolják, hogy a szervezet összetettsége különböző módon befolyásolja a fenntarthatóságot az élő és az élettelen természetben [16] [17] . Az élettelen természetben a komplexitás növekedése az élő anyag stabilitásának csökkenéséhez vezet. Ezzel szemben az élő természetben a komplex (társadalmi) szervezetek stabilabbak (a túlélési képesség szempontjából), mint az egyes elemek stabilitása külön-külön. Például a kis számú sejtből álló szervezetek (például szúnyogok) száma sokkal nagyobb, mint a sok sejtből álló szervezetek száma (például elefántok). Ez azonban semmit nem mond az elemi komponenshez kapcsolódó stabilitásról. Ha egy citológus statisztikát akarna készíteni, és véletlenszerűen összegyűjtene egy sejtgyűjteményt, abban találná meg a legtöbb emlőshöz tartozó sejtet. Ez arra utal, hogy az élő szervezetek komplikációjával jelentősen megnő elemi komponenseik (sejtjeik) stabilitása [18] .

Az entrópia Shannon definíciójával analógiaként tekinthetjük a mennyiséget, mint a szervezettség mértékét

ahol az adott pillanatban egy elemhez elérhető hivatkozások számának aránya az elem összes lehetséges hivatkozásának számához. Itt is, akárcsak az információforrás entrópiájának meghatározásánál, a feltétel igaz, azonban az entrópia meghatározásának esetére teljesülő feltétel itt már nem teljesül, és helyébe az egyenlőtlenség lép . nincs kapcsolata semmilyen más elemmel, Ellenkezőleg, ha az elem az összes többi elemhez kapcsolódik, és

A relatív szervezettség mértékét a következőképpen írjuk le:

A maximális szerveződést úgy kapjuk meg, hogy minden nullát egyenlővé teszünk, ami egy egyenletrendszert eredményez:

Ezen egyenletek bármelyikéhez

Így a maximális szervezettség elérése érdekében a csatlakozási aránynak egyenlőnek kell lennie (ahol az Euler-szám ),

A szervezetnek ez a nem sztochasztikus értelmezése azzal az előnnyel is jár, hogy számos érdekes következtetés levonását teszi lehetővé. Ahhoz, hogy a kapcsolat mértékénél figyelembe vegyük két elem közötti kapcsolat meglétét köztes elemeken keresztül, nem az elemhez megfelelő kapcsolatok számát kell használni , hanem azt a számot, amelyet a kifejezés határozza meg.

hol van az elemek közötti rokonság foka (a kapcsolat erőssége) és Ebben az esetben a képletben a kapcsolat relatív összerősségét fogja reprezentálni (a kapcsolatok száma helyett, mint korábban volt) az elemre vonatkozóan [19 ]

Az entrópia axiomatikus meghatározása

Az információs entrópia kifejezése valamilyen axiómarendszer alapján származtatható . Az egyik megközelítés a következő axiómarendszer, amelyet Khinchin axiómarendszerként ismernek : [20] .

1 . Legyen valamelyik rendszer valószínűséggel az elérhető állapotok mindegyikében , ahol . Az entrópia csak valószínűségek függvénye : . 2 . Bármely rendszerre , ahol egy egyenletes valószínűség-eloszlású rendszer: . 3 . Ha hozzáadunk egy állapotot a rendszerhez , akkor a rendszer entrópiája nem változik. 4 . A két rendszer halmazának entrópiája és alakja , ahol a feltételes entrópia az együttesre átlagolva .

Ez az axiómakészlet egyedülálló módon a Shannon-entrópia képletéhez vezet.

Egyes szerzők [21] Hincsin utolsó axiómájának természetellenességére hívják fel a figyelmet. Valójában az entrópia additivitásának követelménye a független rendszerek esetében egyszerűbb és nyilvánvalóbb. Így az utolsó axióma helyettesíthető a következő feltétellel.

4' . Két független rendszer összességének entrópiája és a következő alakja van .

Kiderült, hogy a 4' pontú axiómarendszer nemcsak a Shannon-entrópiához vezet, hanem a Rényi-entrópiához is .

f -entrópia

A Rényi-entrópián kívül a standard Shannon-entrópia egyéb általánosításai is ismertek, például az f -entrópiák osztálya, amelyet I. Chisar javasolt [22] 1972-ben. 1971-ben S. Arimoto is javasolta [23] a Az f -entrópia fogalma , amely a funkcionálisok egy másik osztályát határozza meg. Továbbá I. Chisar koncepcióját is figyelembe veszik . Az f -entrópia fogalma összefügg [24] az f -divergencia fogalmával . Ezen osztályok elemei pármegfelelést alkotnak, és minden ilyen funkcionális párt valamilyen konvex függvény határozza meg -nél , amely kielégíti a feltételt .

Adott függvényre egy diszkrét eloszlás f -entrópiáját a következőképpen definiáljuk

Az f -entrópia legismertebb speciális esetei :

A Shannon-entrópia az egyetlen additív entrópia az f -entrópia osztályban .

Az f -entrópia fogalmát általánosságban a következőképpen definiáljuk. Legyen egy valószínűségi eloszlás, és legyen tetszőleges mérték , amelyre létezik abszolút folytonos a függvény tekintetében . Akkor

Előfordulhat azonban, hogy az f -entrópiák folytonos változatainak nincs értelme az integrál divergenciája miatt.

Az f -entrópia a valószínűségi eloszlás konkáv függvénye.

Látható, hogy a függvény a tagig megadható , ahol tetszőleges állandó. A választástól függetlenül a függvény egyetlen f -divergenciafüggvényt generál . És kiderül, hogy az f -entrópiafüggvény egy tetszőleges additív állandóig definiálva van, azaz. Egy konstans kiválasztásával beállíthatja az entrópia referenciapontját. Ebben az esetben a következő árnyalat merül fel (az f - entropia folytonos változatára jellemzőbb ): megszűnik véletlenszerű lenni. Különösen az entrópia diszkrét változatában az állandót a -ban kell rögzíteni . Ezért az f -entrópiához, hogy ne csökkentsük a definíció általánosságát, explicit módon megadhatunk egy additív állandót. Például, ha a Lebesgue-mérték ezen van , akkor a valószínűségi eloszlás sűrűsége és

ahol egy tetszőleges állandó.

A függvény egy tetszőleges pozitív tényezőig is megadható, amelynek kiválasztása egyenértékű a megfelelő f -entrópia vagy f -divergencia mértékegységének kiválasztásával .

Az f -entrópia és az f -divergencia kifejezéseket általános formában összevetve a következő összefüggést írhatjuk össze őket összekötve [25] :

hol van az egyenletes eloszlása . Ha feltételezzük , hogy az eloszlások deriváltjai a mérték tekintetében az entrópia és a divergencia argumentumai , akkor megkapjuk a formális jelölést .

Ez a kapcsolat alapvető, és nemcsak az f - entrópia és az f -divergencia osztályokban játszik fontos szerepet . Ez az összefüggés tehát érvényes a Rényi-entrópiára és a divergenciára , és különösen a Shannon-entrópiára és a Kullback–Leibler-féle divergenciára . Ez annak köszönhető, hogy az általánosan elfogadott axiomatika szerint az entrópia egyenletes valószínűségi eloszláson éri el a maximumát.

Lásd még

Jegyzetek

  1. Zubarev D. N., Morozov V. G. Energia disszipáció // Fizikai enciklopédia  : [5 kötetben] / Ch. szerk. A. M. Prohorov . - M . : Szovjet Enciklopédia (1-2. kötet); Great Russian Encyclopedia (3-5. kötet), 1988-1999. — ISBN 5-85270-034-7 .
  2. Sivukhin D.V. A fizika általános kurzusa. - M. , 1979. - T. II. Termodinamika és molekuláris fizika. - S. 127.
  3. Shambadal P. Az entrópia fejlesztése és alkalmazása, 1967 , p. 61-64.
  4. Tsypkin Ya. Z., 1995 , p. 77.
  5. Zubarev D. N., Morozov V. G. Entrópia // Fizikai enciklopédia  : [5 kötetben] / Ch. szerk. A. M. Prohorov . - M . : Szovjet Enciklopédia (1-2. kötet); Great Russian Encyclopedia (3-5. kötet), 1988-1999. — ISBN 5-85270-034-7 .
  6. Entrópia // Nagy Szovjet Enciklopédia  : [30 kötetben]  / ch. szerk. A. M. Prohorov . - 3. kiadás - M .  : Szovjet Enciklopédia, 1969-1978.
  7. http://emf.pskgu.ru/ebooks/astros/0401_O.pdf
  8. http://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf
  9. Wentzel E. S., 1969 , p. 468-475.
  10. Zaripov R. G., 2005 , p. 13-22, 108-125.
  11. Janes E. T. A maximális entrópia módszerek indoklásáról // TIER. - 1982. - T. 70 , sz. 9 . - S. 33-51 .
  12. Kolmogorov, 1987 , p. 29-39.
  13. Rapaport A. - A rendszerek absztrakt elemzésének matematikai vonatkozásai // Tanulmányok a rendszer általános elméletéből. M.: Haladás. 1969. S. 83-105.
  14. N. N. Brushlinskaya, A kémiai kinetika egyenleteinek faktor-invarianciája egydimenziós halmaz mentén a paraméterek terében, Uspekhi Mat. Nauk, 1975, 30. kötet, 6(186), 161–162.
  15. Kadoshnikov S.I. - Mesterséges klorofill-lipid membránok fotoelektromos és spektrális tulajdonságai.
  16. Uskov A.A., Kruglov V.V. - Nagy rendszerek stabilitása.
  17. George J. Klir - A rendszerproblémamegoldás architektúrája.
  18. G. Foerster - Bio-logic // "Problems of Bionics: Biological Prototypes and Synthetic Systems", szerk. "Mir", M., 1965.
  19. R. Boyell - Memória szemantikai kapcsolatokkal // "Bionika problémái: Biológiai prototípusok és szintetikus rendszerek", szerk. "Mir", M., 1965.
  20. Khinchin A. Ya. Az entrópia fogalma a valószínűségszámításban  // Uspekhi matematicheskikh nauk. - 1953. - T. 8 , sz. 3. cikk (55) bekezdése . - S. 3-20 .
  21. Plastino A., Plastino AR Tsallis Entropy és Jaynes információelméleti formalizmus  // Brazilian Journal of Physics. - 1999. - T. 29 , sz. 1 . - S. 53 .
  22. Csiszár I. A megfigyelési csatornák informativitásának mértékegysége.  // Periodica Math. magyarország. - 1972. - T. 2 . – S. 191–213 .
  23. Arimoto S. Információelméleti megfontolások a becslési problémákkal kapcsolatban  // Információ és vezérlés. - 1971. - T. 19 , sz. 3 . – S. 181–194 .
  24. Csiszár I. Információs mértékek axiomatikus jellemzései.  // entrópia. - 2008. - Kiadás. 10 . - S. 261-273 .
  25. Cichocki A., Amari S.-I. Alfa-béta- és gamma eltérések családjai: Rugalmas és robusztus hasonlóságok.  // entrópia. - 2010. - T. 12 , sz. 6 . - S. 1532-1568 .

Irodalom

Linkek