Entrópia maximum elve

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt hozzászólók, és jelentősen eltérhet a 2015. december 8-án felülvizsgált verziótól ; az ellenőrzések 32 szerkesztést igényelnek .

A maximális entrópia elve kimondja, hogy a bizonytalan környezet állapotainak legjellemzőbb valószínűségi eloszlásai azok, amelyek maximalizálják a választott bizonytalansági mértéket egy adott, a környezet "viselkedésére" vonatkozó információra. D.Gibbs először használt ilyen megközelítést a részecskék fizikai együtteseinek szélsőséges eloszlási függvényeinek meghatározására . Ezt követően E. Janes egy formalizmust javasolt a valószínűségi változók eloszlásának ismeretlen törvényeinek visszaállítására a Shannon-entrópia maximumának feltételeire vonatkozó korlátozások jelenlétében .

Történelem

Tekintsünk egy diszkrét valószínűségi változót , amely valószínűségi értékeket vehet fel . A valószínűségek nem ismertek. De egy adott valószínűségi változó valamely függvényének matematikai elvárása ismert: . Ezen információk alapján mi a függvény várható értéke ? $x$ $x_{1},...,x_{n}$ ${\displaystyle p_{1},...,p_{n))$ ${\displaystyle M[f(x)]=\sum \limits _{i=1}^{n}{f({x_{i))){p_{i))))$ $g(x)$

Első pillantásra a feladat megoldhatatlannak tűnik, hiszen előtte ismerni kell a valószínűségi eloszlást , és a kezdeti információ nem elegendő az összes valószínűség megtalálásához . A függvény várakozási egyenlete a normalizációs egyenlettel együtt az egyenletrendszer összeállításához szükséges egyenletek közül csak kettőt ad meg . $x$ ${\displaystyle p_{i))$ $f(x)$ $\sum \limits _{i=1}^{n}{p_{i}}=1$ $n$

A valószínűségi eloszlás meghatározásának ez a problémája olyan esetekben, amikor egy valószínűségi változóról kevés információ áll rendelkezésre, vagy nincs információ, egyidős magával a valószínűség-elmélettel. Laplace Az elégtelen ész elve egy ilyen kiválasztási kritériumot próbált javasolni: ez az, hogy két eseményt egyformán valószínűnek kell tekinteni, hacsak nincs ok az ellenkezőjét hinni.

Megjegyzendő [1] , hogy a statisztika és az axiomatikus valószínűség-elmélet kapcsolatának két különböző megközelítése van. A gyakorisági (frekvencia) megközelítés a valószínűséget frekvenciahatárnak tekinti , a valószínűség pedig olyasvalami, ami leírja a bináris események végtelen nagy halmazainak tulajdonságait. A bayesi megközelítés általánosítja a gyakori megközelítést, mivel a valószínűség új jelentését posztulálja, mint bármely bináris kísérlet kvantitatív jellemzőjét. Ez ugyanazokat az eredményeket adja az együttesek leírásában, mint a gyakori megközelítés, de lehetővé teszi, hogy kvantitatív becsléseket adjunk olyan bináris kísérletekre, amelyek kimenetele előre nem ismert, és javítsuk a becsléseket, amint új információk állnak rendelkezésre az eredményekről; Mindennek nincs értelme a gyakori felfogás szerint.

Laplace például úgy vélte, hogy a világon nincs semmi véletlenszerű, és ha van információ az események okairól, akkor a következmények (maguk az események) 100%-os pontossággal megjósolhatók ( laplaci determinizmus ). Ezt a valószínűségi megközelítést egymástól függetlenül dolgozta ki D. Gibbs fizikus ( Gibbs statisztikai mechanikájában ) és K. Shannon matematikus (az információelmélet fejlesztésében ). Mindkettő kapott egy értéket, amely egy esemény kimenetelével kapcsolatos bizonytalanságot fejezi ki (vagy más szóval egy valószínűségi eloszlás bizonytalanságának mértékét), amelyet entrópiának neveztek, és hasonló képletekkel számították ki. Erre a hasonlóságra E. T. Janes fizikus 1957-ben két közleményében is felhívta a figyelmet [1] [2] .

Szigorúan véve Gibbs nem volt úttörő a fizikai entrópia fogalmának kidolgozásában. Az entrópia fogalmát R. Clausius fizikus javasolta , majd L. Boltzmann fizikus dolgozta ki , és mindegyik megkapta a saját entrópiafüggvényét. Clausius termodinamikai koncepciókkal dolgozott, míg Boltzmann a molekuláris fizikát és a statisztikai mechanikát dolgozta ki.

Hasonlóképpen Shannon G. Nyquist és R. Hartley eredményeire alapozta munkáját , akik lefektették az információelmélet alapjait.

Funkcionalitás

Tételezzük fel, hogy egy esemény véletlenszerű kísérletben előfordulhat, vagy nem. Ha az esemény nem következett be, akkor feltételezzük, hogy az ellenkező esemény történt . Így az események és események egy teljes eseménycsoportot alkotnak, ami azt jelenti, hogy ezek összeegyeztethetetlen események, és összegükben a valószínűségük egyenlő eggyel: . $A$ $A$ ${\overline {A}}$ $A$ ${\overline {A}}$ $P(A)+P({\overline {A)))=1$

Ha az eseményről egyáltalán nem tudunk semmit , akkor a valószínűség szubjektív megközelítése szerint el kell fogadni, hogy a és az események egyformán valószínűek: . $A$ $A$ ${\overline {A}}$ $P(A)=P({\overline {A)))=0,5$

Amint bizonyos információkhoz jut, az egyik valószínűség elkezd felülmúlni a másikat, és a bizonytalanság csökkenni kezd. Végül a teljes információ megszerzésekor kiderül, hogy , (vagy fordítva: , ). Ekkor a bizonytalanság nullára csökken. $P(A)=1$ $P({\overline {A}})=0$ $P(A)=0$ $P({\overline {A}})=1$

Jó lenne ezeknek a valószínűségeknek egy olyan függvényét kitalálni, amely teljes bizonytalansággal elérné a maximumot, és teljes bizonyossággal eltűnne. És minél nagyobb az egyik valószínűség a másiknál, annál nagyobb az „aszimmetria” közöttük, annál kisebb értéket vesz fel ez a függvény.

Ezt a függvényt (funkcionális) az eloszlás entrópiájának vagy az eloszlás bizonytalanságának nevezzük. Szigorúan véve az entrópia csak a bizonytalanság mértéke, nem maga a bizonytalanság. De itt minden ugyanaz, mint a valószínűségek esetében: a valószínűség egyszerre egy esemény lehetősége és ennek a lehetőségnek a mértéke. Elvileg helyes ezt-azt mondani.

Ilyen függvénynek tekinthetjük például az események valószínűségének és a szorzatát . Jelölje és vegye figyelembe a függvényt . Mivel egy fordított parabola az origón és a ponton halad át , a maximumát a -nál éri el . $A$ ${\overline {A}}$ $P(A)=p$ $P({\overline {A)))=1-p$ $H(p)=p(1-p)$ $H(p)$ $(1;0)$ $p=0,5$

Továbbá, ahogy a valószínűségek "aszimmetriája" növekszik, fokozatosan csökken, míg végül nullára nem változik a vagy -on . $H(p)$ $p=1$ $p=0$

Megjegyzendő, hogy a szimmetria miatt , mert nem mindegy, hogy a két esemény közül melyiknek van valószínűsége , és melyiknek a valószínűsége . $H(p=0,4)=H(p=0,6)=0,24$ $0.4$ $0.6$

Másrészt (0,21<0,24), mert ebben a második esetben a valószínűségek "aszimmetrikusabbak", mint az első esetben. $H(p=0,3)<H(p=0,6)$

Vegyük észre, hogy a függvény , ahol valamilyen együttható, megbirkózik a rá rótt „kötelezettségekkel” is: maximumot at és minimumot (nulla) ér el és . Ez azt jelenti, hogy a kívánt funkcionális egy bizonyos együtthatóig meghatározható. $H_{1}(p)=CH(p)=Cp(1-p)$ $C>0$ $p=0,5$ $p=1$ $p=0$

A teljes eseménycsoportot most három esemény alkotja. Lehetséges ebben az esetben a valószínűségeik szorzatát entrópiának tekinteni, sőt bizonyítható, hogy ez a szorzat akkor éri el maximumát, ha minden valószínűség egyenlő egymással: . $H_{1}(p,q)=pq(1-pq)$ $p=q=1-pq=1/3$

Itt azonban van egy baj. Három esemény maximális entrópiája - ami kisebb, mint két esemény maximális entrópiája, ami . És szeretném, ha ez fordítva lenne: minél több az esemény, annál nagyobb a bizonytalanság. ${\frac {1}{3}}{\frac {1}{3}}{\frac {1}{3}}={\frac {1}{27}}$ ${\frac {1}{2}}{\frac {1}{2}}={\frac {1}{4}}$

Egy másik, komolyabb probléma, hogy ha legalább egy esemény valószínűsége nulla, akkor a valószínűségek teljes szorzata automatikusan nullává válik. Vagyis a bizonytalanság eltűnik, nullával egyenlővé válik egy ilyen függvény szerint, pedig valójában nem az. A bizonytalanságnak el kell tűnnie, ha egy kivételével minden valószínűség nulla, és ez az egyetlen valószínűség egyenlő eggyel. Mindazonáltal két eredményre egy ilyen funkció meglehetősen jól használható. De két eredményhez és nincs szükség funkcionálisra: ha ismert egy valószínűségi változó eloszlásának elvárása, akkor a várható egyenlet a normalizálási feltétellel együtt csak egy két egyenletrendszert ad, amelyekből és egyértelműen megtalálható . Ha az eloszlásról egyáltalán nem tudunk semmit, akkor a valószínűségek egyenlővé válnak egymással, és ez minden funkcionális nélkül megtehető. $x$ $p_{1}$ ${\displaystyle p_{2))$

Shannon entrópiája

Claude Shannon három feltételt támasztott a szükséges függvényhez [3] : $H(p_{1},...,p_{n})$

$H(p_{1},...,p_{n})$ a változók folytonos függvényének kell lennie ; ${\displaystyle p_{i))$
ha minden valószínűség egyenlő, akkor a függvény monoton növekvő függvénye . Más szóval, ; ${\displaystyle p_{i))$ $A(n)=H({\frac {1}{n)),...,{\frac {1}{n)))\$ $n$ $H\underbrace {({\frac {1}{n)),...,{\frac {1}{n)))} _{n}<H\underbrace {({\frac {1 }{n+1}},...,{\frac {1}{n+1}})} _{n+1}$
összetételi törvény. Ahelyett, hogy közvetlenül megadná az események valószínűségét, az elsőt csoportosíthatja egy eseményként a megfelelő valószínűséggel . A többi olyan, mint a második esemény valószínűséggel . Ekkor a függvénynek engedelmeskednie kell a feltételnek ; $k$ ${\displaystyle \omega _{1}=p_{1}+...+p_{k))$ ${\displaystyle \omega _{2}=p_{k+1}+...+p_{n))$ $H$ $H({p_{1}},...,{p_{n}})=H({\omega _{1}},{\omega _{2}})+{\omega _{ 1}}H\left({{\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}} \right)+{\omega _{2}}H\left({{\frac {p_{k+1}}{\omega _{2}}},...,{\frac {p_{n} }{\omega _{2}}}}\jobbra)$

Az összetétel törvénye különös figyelmet igényel, hiszen ennek alapján alakul tovább a függvény formája . Az ötlet a következő. $H$

A véletlenszerű kísérlet két egymást követő szakaszra oszlik. Az első szakaszban a kimenetek első (előtt ) vagy második (utána ) részét választják ki valószínűségekkel és . A második szakaszban magát az eredményt választják ki az eredmények kiválasztott részéből. Ebben az esetben a kiválasztott rész végeredménye már feltételes valószínűségekkel van kiválasztva , vagyis feltéve, hogy ez a rész (jelen esetben az első rész) ki van választva. Maga Shannon azt mondja, hogy ha a választás két szakaszra esik, akkor a kezdeti entrópiának az egyes entrópiák, azaz a feltételes entrópiák súlyozott összegének kell lennie. ${\displaystyle \omega _{1))$ ${\displaystyle \omega _{2))$ $k$ $k$ ${\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}$

Az általános jelentése az, hogy ha az első szakaszban véletlenszerű választás történik, akkor a valószínűségek és a vagy értékeket veszik , és a további bizonytalanság csak a feltételes entrópiák egyikével egyenlő. ${\displaystyle \omega _{1))$ ${\displaystyle \omega _{2))$ $0$ $1$

Példaként vegyünk két grafikont:

A bal oldali grafikonon három kimenet látható , , valószínűségekkel , amelyek egy teljes eseménycsoportot alkotnak (azaz ). A jobb oldali grafikonon először két lehetőség közül választunk, mindegyik valószínűséggel . Ha a második lehetőséget választjuk, akkor egy másik választás és valószínűségekkel történik . Az entrópiáknak mindkét grafikonon azonosnak kell lenniük, mivel végül ugyanazokat az eredményeket kapjuk azonos valószínűséggel. Az összetétel törvénye szerint azt írjuk . $p_{1}=1/2$ $p_{2}=1/3$ $p_{3}=1/6$ $p_{1}+p_{2}+p_{3}=1$ $1/2$ $2/3$ $1/3$ $H({\frac {1}{2)),{\frac {1}{3)),{\frac {1}{6)))=H({\frac {1}{2} },{\frac {1}{2)))+{\frac {1}{2}}H\left(1\right)+{\frac {1}{2}}H\left(({\ frac {1}{3)),{\frac {2}{3}}}\right)=H({\frac {1}{2}},{\frac {1}{2}})+{ \frac {1}{2}}H\left({{\frac {1}{3}},{\frac {2}{3}}}\jobbra)$

Itt ugyanis az egyetlen eseményből álló, száz százalékos valószínűséggel bekövetkező teljes eseménycsoport nulla bizonytalanságot generál. Ugyanakkor maga Shannon szerint az együttható azért jelenik meg, mert a második választás az esetek felében jelenik meg. $H(1)=0$ $1/2$

Az összetétel törvényében az első szakasz nem két lehetőségből állhat, hanem több lehetőségből, megfelelő valószínűséggel , , , … ${\displaystyle \omega _{1))$ ${\displaystyle \omega _{2))$ ${\displaystyle \omega _{3))$

Az összetétel törvénye az entrópia additív tulajdonságának egyfajta általánosítása, bár nem következik közvetlenül ebből a tulajdonságból. Valójában álljon néhány kísérlet hat egyformán valószínű kimenetelből. Osszuk ezeket az eredményeket három egyenlő részre: az első szakaszban a három rész egyikét választják ki, a második szakaszban a megfelelő részen belüli eredményt. Akkor írhatsz . $H({\frac {1}{6)),{\frac {1}{6)),{\frac {1}{6)),{\frac {1}{6)),{ \frac {1}{6)),{\frac {1}{6)))=H({\frac {1}{3)),{\frac {1}{3)),{\frac { 1}{3)))+{\frac {1}{3}}H\left({{\frac {1}{2}},{\frac {1}{2}}}\jobbra)+{ \frac {1}{3}}H\left({{\frac {1}{2}},{\frac {1}{2}}}\jobb)+{\frac {1}{3}} H\left({{\frac {1}{2)),{\frac {1}{2))}\jobbra)$

A kapott egyenlet a következőképpen írható át:

$A(6)=A(3)+{\frac {1}{3}}A\left(2\right)+{\frac {1}{3}}A\left(2\right) +{\frac {1}{3}}A\left(2\right)=A(3)+A\left(2\right)$ .

Nyilván általánosságban . $A(mn)=A(m)+A\left(n\right)$

De ugyanez az eredmény más megfontolásokból is elérhető.

Tegyük fel, hogy van egy véletlenszerű kísérlet azonos valószínűséggel, és egy másik véletlenszerű kísérlet ugyanolyan valószínűséggel. Legyen ennek a két véletlenszerű kísérletnek semmi köze egymáshoz. De mindenesetre egy kombinált kísérletnek tekinthetők, amelyben külön eredmény, hogy az első kísérlet edik eredménye és a második kísérlet harmadik eredménye következett be. Egy ilyen kombinált kísérletben már vannak kiegyensúlyozott eredmények. Mivel a két kísérlet bizonytalansága nem változhat a nézőpont változásától függően, akkor . $m$ $n$ $én$ $j$ $mn$ $A(mn)=A(m)+A\left(n\right)$

Ennek eredményeképpen , ahol egy nem negatív egész szám. Ha , akkor az utolsó egyenlőség alakot ölt , miközben valódi egyenlőség marad. $A(m^{s})=sA(m)$ $s$ $s=0$ $A(1)=0$

Az összetétel törvénye lehetővé teszi, hogy függvények súlyozott összegeként fejezzük ki egy valószínűség-eloszlás entrópiáját, amelyben minden valószínűség racionális szám . Valóban, legyen az összeférhetetlen események teljes csoportja , , …, valószínűségekkel , ahol , , természetes számok, . Aztán lehet írni $A$ $n$ $p_{1}=n_{1}/n$ $p_{2}=n_{2}/n$ $p_{n}=n_{n}/n$ ${\displaystyle n_{i))$ $n$ $n_{1}+...+n_{n}=n$

$A(n)=H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})+\sum \limits _{i =1}^{n}{{\frac {n_{i}}{n}}A({n_{i}})}$ .

Ebből az egyenletből már ki lehet fejezni . $H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})$

Valójában nem tudni, hogy Shannon pontosan honnan vette az összetétel törvényét. Talán csak azt akarta, hogy az entrópiája hasonló legyen Hartleyéhez, és kitalált egy olyan feltételt (összetételtörvény), amelyből egyedülálló módon megkapja Shannon entrópiáját.

Tétel:

az egyetlen függvény , amely teljesíti a rá rótt három Shannon-feltételt, az alakja , ahol bármely pozitív állandó, és a logaritmus bármely bázisnál nagyobb, mint egy. $H$ $H=-K\sum \limits _{i=1}^{n}{{p_{i}}\log {p_{i}}}$ $K$

Bizonyíték .

A bizonyítás a függvény formájának megállapítására redukálódik . $A$

Bármely természetes és tetszőlegesen nagy természetes , lehet találni egy olyan természetes és nem negatív egész számot , amely (ez nyilvánvaló). Az egyenlőtlenség mindkét oldalát potencírozva és -vel osztva megkapjuk , ahonnan . Mivel a természetes logaritmus alapja nagyobb egynél, az egyenlőtlenségek előjele nem változik. $t$ $n$ $m>1$ $s$ ${m^{s}}\leq {t^{n}}\leq {m^{s+1}}$ $n\ln m$ ${\frac {s}{n}}\leq {\frac {\ln t}{\ln m}}\leq {\frac {s+1}{n}}$ $\left|{{\frac {s}{n}}-{{\log }_{m}}t}\right|\leq {\frac {1}{n}}$

Másrészt a monotonitása alapján írhatunk , , ahonnan hasonlóan , . Akkor írhatsz . Ha átlépjük a határértéket , akkor megkapjuk . Ezért ahol egy tetszőleges pozitív állandó, a logaritmus tetszőleges természetes bázisa (egynél nagyobb). A konstans tetszőlegessége nemcsak azzal függ össze, hogy a számlálóban és a nevezőben redukálódik, hanem azzal is, hogy a logaritmus alapját tetszőlegesen választják ki. Léphetsz a természetes logaritmusra, és megkaphatod . Ez arra utal, hogy a logaritmus alapjának nem kell természetes számnak lennie. Továbbá a függvény függvényben való ábrázolását felhasználva felírhatjuk, mivel bármely valós szám tetszőleges pontossággal közelíthető egy racionális számmal, és maga a függvény folytonos (azaz kicsivel jelentéktelenül változik) az argumentum változása), Shannon ezt a képletet javasolta a valós számok által adott valószínűségekhez. $A(n)$ ${\displaystyle A({m^{s)))\leq A({t^{n)))\leq A({m^{s+1)))))$ ${\displaystyle sA({m})\leq nA({t})\leq (s+1)A({m)))$ ${\frac {s}{n}}\leq {\frac {A(t)}{A(m)))\leq {\frac {s+1}{n}}$ $\left|{{\frac {s}{n}}-{\frac {A(t)}{A(m)))}\right|\leq {\frac {1}{n}}$ $\left|{{\frac {A(t)}{A(m)}}-{{\log }_{m}}t}\right|\leq {\frac {2}{n} }$ $n$ $n\to \infty$ ${\frac {A(t)}{A(m)}}={\log _{m}}t$ $A(t)=K{\log _{m}}t$ $K$ $m$ $K$ $A(t)=K{\log _{m}}t=K{\frac {\ln t}{\ln m}}=K'\ln t$ $H$ $A$ $H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})=A(n)-\sum \limits _{i =1}^{n}{{\frac {n_{i}}{n}}A({n_{i}})}=K\log n-\sum \limits _{i=1}^{n }{{\frac {n_{i}}{n}}K\log {n_{i}}}=-\sum \limits _{i=1}^{n}{{\frac {n_{i} }{n}}K\log {\frac {n_{i}}{n}}}=-K\sum \limits _{i=1}^{n}{{p_{i}}\log {p_ {én}}}$ $H$

A tétel bizonyítást nyert .

Ha a valószínűség nulla, akkor a szorzat határát nullára kell tekinteni : $p$ $p\log p$ $p$

$\lim _{p\to 0+}p\ln p=\lim _{p\to 0+}{\frac {\ln p}{\frac {1}{p))}=\lim _{p\to 0+}{\frac {\left({\ln p}\right)'}{\left({\frac {1}{p}}\right)'}}=\lim _{ p\to 0+}{\frac {1/p}{-1/{p^{2))))=-\lim _{p\to 0+}p=0$

Shannon maximális entrópiája és a Lagrange-szorzó módszer

Bizonyítható [4] , hogy a Shannon-entrópia egyenletes eloszláson vesz fel maximális értéket. Ennek bizonyítására megtaláljuk a Shannon-entrópia feltételes maximumát a normalizálási feltétel alatt . $H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_ {én}}}$ $\sum \limits _{i=1}^{n}{p_{i}}=1$

Ehhez a Lagrange-szorzó módszert használjuk a feltételes szélsőségek meghatározásához. Ez a módszer röviden a következő.

Tegyük fel, hogy meg kell találni egy lokális extrémumát olyan változók folytonos függvényének, amelyek minden változóra vonatkozóan parciális deriváltjai vannak, feltéve, hogy ,…, , ahol ,… olyan folytonos függvények, amelyeknek az összes változóra parciális deriváltja van, . Ekkor a Lagrange-függvény a formából áll , ahol a számokat Lagrange-szorzóknak nevezzük. $f(x_{1},...,x_{n})$ $n$ $\varphi _{1}(x_{1},...,x_{n})=0$ $\varphi _{k}(x_{1},...,x_{n})=0$ $\varphi _{1}$ $\varphi _{k}$ $k<n$ $L({x_{1}},...,{x_{n}})=f({x_{1}},...,{x_{n}})+\sum \limits _ {i=1}^{k}{{\lambda _{i}}{\varphi _{i}}({x_{1}},...,{x_{n))))}$ $\lambda _{i}$

A feltételes szélsőség egy bizonyos ponton való létezésének szükséges feltétele a nullával való egyenlőség vagy a Lagrange-függvény összes parciális deriváltjának nemléte ezen a ponton. Ezért a Lagrange-függvény nullával egyenlő parciális deriváltjaiból, valamint az extrémumra támasztott feltételekből rendszert állítunk össze és oldunk meg. A rendszer megoldása (ha létezik) az extrémum koordinátája, valamint a Lagrange-szorzók értékei. $f$ $n$ $k$

A Shannon-entrópia esetében a Lagrange-függvény alakja: . $L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+\lambda \left( {\sum \limits _{i=1}^{n}{p_{i}}-1}\right)$

Írjuk fel az egyenletrendszert a szélsőség létezéséhez szükséges feltétellel:

$\left\{{\begin{array}{l}{\frac {\partial L({p_{1)),...,{p_{n)))}{\partial {p_{1 }}}}=0\\...\\{\frac {\partial L({p_{1}},...,{p_{n}})}{\partial {p_{n}}} }=0\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{array}}\right.$ Megoldva a következőket kapjuk: $\left\{{\begin{array}{l}-(\ln {p_{1}}+1)+\lambda =0\\...\\-(\ln {p_{n} }+1)+\lambda =0\end{tömb}}\jobbra.$

Mivel minden egyenlet azonos, akkor , . ${p_{1}}={p_{2}}=...={p_{n}}=1/n$ $\lambda =1+\ln {\frac {1}{n))$

Tehát az egyetlen pont, ahol szélsőség létezhet. Tekintettel arra, hogy a függvény folytonos és nem negatív határozott, a minimális nulla értéket véve (abban az esetben, ha az egyik valószínűség egyenlő eggyel, a többi pedig nulla), akkor a talált szélsőérték a globális feltételes maximum, és maga a maximum egyenlő . $H$ $H({\frac {1}{n}},...,{\frac {1}{n}})=-\sum \limits _{i=1}^{n}{{\ frac {1}{n}}\ln {\frac {1}{n}}}=\ln n$

Az is igazolható, hogy az inkompatibilis elemi eredmények valószínűségeinek halmazában a két valószínűségnek az egymáshoz igazítása felé történő bármilyen változása (anélkül, hogy a kimenetelek száma megváltozna), növeli az eloszlás entrópiáját. ${\displaystyle p_{1},...,p_{n))$ $n$

Könnyű bizonyítani. Mivel csak két valószínűség változik, például és , a többi valószínűség változatlan marad. Ezért az entrópiaképletben szereplő kifejezések, amelyek más valószínűségekhez kapcsolódnak, változatlanok maradnak, és nem befolyásolják az entrópia növekedését. Ugyanakkor az összeg is változatlan marad (ugyanezért). Ezért elegendő csak két összeférhetetlen kimenetel bizonyítását elvégezni, amelyek egy teljes eseménycsoportot alkotnak - akkor az állítás tetszőleges számú kimenetelre tekinthető bizonyítottnak. $p_{1}$ ${\displaystyle p_{2))$ $p_{1}+p_{2}$ $n$

Jelölje és vegye figyelembe a függvényt . $p_{1}=p$ $p_{2}=1-p$ $H(p,1-p)=-p\ln p-(1-p)\ln(1-p)$

A vs. plot nagyon hasonlít az origón áthaladó fordított parabolához. A maximumot a pontban érjük el . Ezenkívül ez a függvény tükörszimmetrikus a vonalhoz képest . Ez abból következik, hogy . Ezért a grafikon alapján nyilvánvaló, hogy a kiegyenlítés felé mutatkozó valószínűségek bármilyen változása az entrópia növekedéséhez vezet. $p$ $p=1-p=0,5$ $p=0,5$ $H(p,1-p)=H(1-p,p)$

Folyamatos eloszlás entrópiája

Shannon eredetileg a következő képletet írta le [3] a folytonos eloszlás entrópiájára, amelyet differenciális entrópiának is neveznek :

${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\log f(x)dx))$ .

Itt látható a valószínűségi változó ismeretlen valószínűségi sűrűség-eloszlásfüggvénye . (Ha , akkor az integrandust ezen a ponton a határértéke helyettesíti .) Azonban a diszkrét eloszlás entrópiájára vonatkozó Shannon-képlettől eltérően ez a képlet nem semmilyen származtatás eredménye (Shannon egyszerűen az összeg előjelét az előjelre cserélte az integrál). És szigorúan véve nem vezethető le a diszkrét entrópia képletről a folytonos entrópia képletére történő egymást követő átmenettel a Riemann-integrál [5] integrál parciális összegeinek határértékének kiszámításával (végtelen értéket kapunk). Mindazonáltal a differenciális entrópia jelentése az átlagos bizonytalanság egy tetszőleges eloszlási törvényű valószínűségi változó kiválasztásában, mínusz egy egységnyi intervallumban egyenletesen eloszló valószínűségi változó bizonytalansága. $f(x)$ $X$ $f(x)=0$ $x$

A differenciális entrópia mellett az angol is ismert. Kullback–Leibler divergencia és angol. Principle_of_maximum_entropy#Continuous_case . De tovább, a maximális entrópia elvének magyarázatához pontosan a differenciális entrópiát fogjuk használni.

Maximális differenciális entrópia és a variációk számítása

Bizonyítható, hogy a differenciális entrópia egyenletes eloszláson vesz fel maximális értéket. Ennek bizonyítására megtaláljuk a differenciális entrópia feltételes maximumát, feltéve, hogy . ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx))$ $\int \limits _{-\infty }^{\infty }{f(x)dx}=1$

Ilyen feltételek mellett olyan függvényt kell találni, hogy a differenciális entrópia integrál vegye fel a maximális értéket. Nyilvánvaló, hogy ebben az esetben maga a függvény alakja válik egyfajta változóvá, ezért szükséges a variációszámítás [3] használata , melynek fő feladata olyan függvény megtalálása, amelyen az adott függvény végpontot ér el. értékeket. $f(x)$ $f(x)$

A variációs módszer hasonlít a Lagrange-módszerre, és röviden a következő. Adjunk meg egy függvényt egy folytonos első parciális deriváltokkal rendelkező integrandusszal , amelyet Lagrange-függvénynek nevezünk. Ha ez a függvény valamilyen függvényen eléri a szélsőértéket , akkor egy parciális differenciálegyenletnek kell teljesülnie , amelyet Euler-Lagrange egyenletnek nevezünk . Más szóval, ez az egyenlet szükséges feltétele annak, hogy a függvényen a funkcionális szélsőértéke létezzen . Ha a függvényre egy további alakfeltételt szabunk, akkor a kívánt szélsőértéket feltételesnek nevezzük, és a Lagrange-függvény a formát veszi fel, és ehhez az új függvényhez már meg kell oldani a differenciálegyenletet. A megtalált függvény nem csak a paramétertől, hanem a paramétertől is függ . Ezután be kell cserélni a feltételeket az integrálban, és meg kell találni . ${\displaystyle J=\int \limits _{a}^{b}{F(x,f(x),f'(x))dx))$ $F(x,f(x),f'(x))$ $f(x)$ ${\displaystyle {\frac {\partial F}{\partial f))={\frac {d}{dx)){\frac {\partial F}{\partial {f'))))$ $J$ $f(x)$ $f(x)$ $\int \limits _{a}^{b}{\varphi (f(x))dx}=c$ $L=F+\lambda \varphi$ $f(x)$ $x$ $\lambda$ $f(x)$ $\lambda$

Differenciális entrópia esetén a Lagrange-függvény alakja . Ekkor az Euler-Lagrange egyenlet a következő alakot veszi fel . $L=-f(x)\ln f(x)+\lambda f(x)$ $\left\{{\begin{array}{l}{\frac {\partial L}{\partial f))=-\ln f-1+\lambda \\{\frac {\partial L} {\partial f'}}=0\\{\frac {d}{dx}}{\frac {\partial L}{\partial f'}}=0\end{array}}\right.$ ${\frac {\partial L}{\partial f))=-\ln f-1+\lambda =0$

Ennek az egyenletnek a megoldása egy függvény , azaz egy állandója . Behelyettesítjük a feltételbe, és megkapjuk . $f(x)={e^{\lambda -1))$ $x$ $\int \limits _{-\infty }^{\infty }{{e^{\lambda -1}}dx}=1$

Nyilvánvaló, hogy egy ilyen egyenletnek nincsenek megoldásai, mint ahogy az is, hogy egy valószínűségi változót nem lehet egyenletesen elosztani a valós számok teljes tartományában. Minden lehetséges érték egy intervallumon feküdjön . Akkor honnan , . Mindenki más számára ez igaz . $X$ $[a;b]$ $\int \limits _{a}^{b}{{e^{\lambda -1}}dx}=1$ $\lambda =1-\ln(ba)$ $f(x)={e^{\lambda -1}}={\frac {1}{ba}}$ $x$ $f(x)=0$

Extrém disztribúciók

Önmagában a talált funkcionális (Shannon entrópia diszkrét vagy differenciális formában) még nem ad semmit. Mivel semmit sem tudunk a véletlenszerű kísérletek kimeneteléről, a maximális entrópia elve azt diktálja, hogy minden eredménynek egyenlő valószínűséget kell adni. Ha folytonos valószínűségi változóról beszélünk, akkor azt feltételezzük, hogy az egyenletes eloszlású. De egy ilyen találkozó végrehajtásához nincs szükség funkcionalitásra. A funkcionális csak a különböző eloszlások bizonytalanságainak mennyiségi összehasonlítását teszi lehetővé.

A maximális entrópia elvének értelme akkor kezd megjelenni, amikor a valószínűségi eloszlást korlátozzák. A maximális entrópia elve ebben az esetben az, hogy megtaláljuk a maximális entrópiát az előírt korlátozások mellett. Az így kapott eloszlást szélsőségesnek nevezzük.

Határozzuk meg az entrópia maximumát olyan esetekben, amikor egy valószínűségi változó eloszlására bizonyos korlátozások vonatkoznak, például ismertek bizonyos momentumai. A Lagrange-szorzók módszerének és a variációszámítási módszernek a használatakor látható lesz, hogy:

ha egy diszkrét valószínűségi változó várható értéke vagy második kezdőmomentuma, vagy mindkettő ismert, akkor szélső eloszlása a diszkrét Gibbs-eloszlás egyik változata
ha ismert egy folytonos valószínűségi változó elvárása, akkor extrém eloszlása folytonos Gibbs-eloszlás
ha egy folytonos valószínűségi változó várható értéke és varianciája ismert, akkor szélső eloszlása normális eloszlás ezekkel a paraméterekkel. Ha a várható érték nem ismert, akkor az nullára lesz állítva.

A valószínűségi változóról (diszkrét és folytonos esetek) semmit sem tudunk

Ebben az esetben a maximális entrópia elve azt írja elő, hogy a valószínűségi változó egyenletesen oszlik el. Korábban már bemutattuk, hogy a Shannon-entrópia bármilyen (diszkrét vagy folytonos) formában a lehető legnagyobb értéket veszi fel egy ilyen eloszláson.

Csak a matematikai elvárás ismert (diszkrét eset)

Tételezzük fel, hogy csak valamely valószínűségi változó diszkrét valószínűségi eloszlásának elvárását ismerjük : . Mi az eloszlás ebben az esetben? A terjesztésre további korlátozások vonatkoznak: $X$ $M[X]=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=m$

$\forall i:0\leq {p_{i}}\leq 1$
$\sum \limits _{i=1}^{n}{p_{i}}=1$

A maximális entrópia elve szerint ilyen feltételek mellett szükséges a függvény maximalizálása $H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_ {én}}}$

Összeállítjuk a Lagrange függvényt, és megkeressük egy lehetséges szélsőség pontjait:

$L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda _{ 1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\jobb)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\jobbra)$

A parciális deriváltak és az előírt feltételek rendszere a következőképpen alakul:

$\left\{{\begin{array}{l}{\frac {\partial L({p_{1)),...,{p_{n)))}{\partial {p_{1 }}}}=-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{1}}=0\\...\ \{\frac {\partial L({p_{1}},...,{p_{n)))}{\partial {p_{n}}}=-(\ln {p_{n}} +1)+{\lambda _{1}}+{\lambda _{2}}{x_{n}}=0\\m=\sum \limits _{i=1}^{n}{{x_ {i}}{p_{i}}}\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{array}}\right.$

Az első egyenletből kivonva -e -t kapunk . $i$ ${p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{x_{1}})))}}$

Az eredményül kapott egyenletet a normalizációs feltétellel rendelkező rendszerré kombinálva és megoldva a következőt kapjuk:

$\left\{{\begin{array}{l}{p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{ x_{1}})}}\\1=\sum \limits _{k=1}^{n}{p_{k}}=\sum \limits _{k=1}^{n}{{p_ {1}}{e^{{\lambda _{2}}({x_{k}}-{x_{1}})}}}={p_{1}}{e^{-{\lambda _ {2}}{x_{1}}}}\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}\end{array }}\jobb.$ , honnan . ${p_{i}}={\frac {e^{{\lambda _{2}}{x_{i}}}}{\sum \limits _{k=1}^{n}{e ^{{\lambda _{2}}{x_{k}}}}}}$

Most a th egyenletből következik . $i$ ${p_{i}}={e^{{\lambda _{2}}{x_{i}}+{\lambda _{1}}-1}}={e^{{\lambda _ {1}}-1}}{e^{{\lambda _{2}}{x_{i}}}}$ $\sum \limits _{k=1}^{n}{e^({\lambda _{2}}{x_{k}}}}={e^{1-{\lambda _{1 }}}}}$

Végül a várakozási egyenlet alapján felírhatjuk , ahonnan következik . $m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=\sum \limits _{i=1}^{n}{\ left({{x_{i}}{\frac {e^{{\lambda _{2}}{x_{i}}}}{\sum \limits _{k=1}^{n}{e^ {{\lambda _{2}}{x_{k}}}}}}\right)}={\frac {\sum \limits _{k=1}^{n}{{x_{k}} {e^{{\lambda _{2}}{x_{k}}}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{ x_{k}}}}}}}$ $\sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}}= 0$

Végül az eredeti rendszer a következőképpen ábrázolható:

$\left\{{\begin{array}{l}{p_{i}}={\frac {e^({\lambda _{2}}{x_{i}}}}{\sum \ korlátok _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}}},i\in \{1,...,n\}\\ \sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}=0\\ {e^{1-{\lambda _{1}}}}=\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}} }\end{tömb}}\jobbra.$

Meglehetősen könnyű bizonyítani, hogy a rendszer második egyenletének megoldása mindig létezik és egyedi, bár nem mindig ábrázolható az argumentum explicit függvényeként . Kívánt esetben (bár nem feltétlenül) a harmadik egyenletből is kifejezhető . De ami a legfontosabb, ha az első egyenletbe behelyettesít, diszkrét valószínűségi eloszlást kap a várakozással . $\lambda _{2}$ $m$ $\lambda _{1}$ $\lambda _{2}$ $\lambda _{2}$ $m$

Mivel a talált megoldás egyedi, a talált pont nagy valószínűséggel az entrópia szélsősége, és ez a szélsőérték a globális feltételes maximum.

A talált valószínűségi eloszlást angolnak nevezzük . Boltzmann_eloszlás , amely Gibbs - disztribúcióként is ismert . ${\displaystyle p_{i))$

Csak a második kezdeti momentum ismert (diszkrét eset)

Tegyük fel , hogy valamely valószínűségi változó diszkrét valószínűségi eloszlásának csak a második kezdeti momentuma ismert : . Mi az eloszlás ebben az esetben? ${\delta ^{2))$ $X$ ${\delta ^{2}}=\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}$

Nyilvánvaló, hogy ez az eset nem különbözik az előzőtől, kivéve, hogy az értékeket értékekkel kell helyettesíteni, helyettesíteni kell a -val . A végső elosztás így fog kinézni $x_{i}$ ${\displaystyle x_{i}^{2))$ $m$ ${\delta ^{2))$ $\left\{{\begin{array}{l}P(X={x_{i}})={p_{i}}={\frac {e^{{\lambda _{2}} {x_{i}}^{2}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}} ))),i\in \{1,...,n\}\\\sum \limits _{k=1}^{n}{({x_{k}}^{2}-{\delta ^{2))){e^{{\lambda _{2}}{x_{k}}^{2}}}}=0\\{e^{1-{\lambda _{1}}} }=\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}}}\end{array}}\right.$

Ebben az esetben könnyen belátható, hogy ha , akkor . ${\displaystyle x_{i}=-x_{j))$ $P(X=x_{i})=P(X=x_{j})$

A várakozás és a második kezdeti momentum ismert (diszkrét eset)

A Lagrange függvénynek ebben az esetben a formája van $L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda _{ 1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\jobb)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\jobbra)+{\lambda _{3}}\left({\sum \limits _{i =1}^{n}{{x_{i}}^{2}{p_{i}}}-{\delta ^{2}}}\jobbra)$

Az egyenletrendszer, amely a szélsőség létezésének szükséges feltétele, a következőképpen alakul:

$\left\{{\begin{array}{l}-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{ 1}}+{\lambda _{3}}{x_{1}}^{2}=0\\...\\-(\ln {p_{n}}+1)+{\lambda _{ 1}}+{\lambda _{2}}{x_{n}}+{\lambda _{3}}{x_{n}}^{2}=0\\1=\sum \limits _{i =1}^{n}{p_{i}}\\m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}\\{\delta ^{2}}=\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}\end{array}}\right.$ . Eszembe lehet jutni $\left\{{\begin{array}{l}{p_{i}}={\frac {e^{{x_{i}}({\lambda _{3}}{x_{i} }+{\lambda _{2))))}}{\sum \limits _{k=1}^{n}{e^{{x_{k}}({\lambda _{3}}{x_ { k}}+{\lambda _{2}})))}}}}\\\sum \limits _{k=1}^{n}{({x_{k}}-m){e^ {{x_ {k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})}}}=0\\\sum \limits _{k=1}^ {n} {({x_{k}}^{2}-{\delta ^{2}}){e^{{x_{k}}({\lambda _{3}}{x_{k}} +{\ lambda _{2}})}}}=0\\{e^{1-{\lambda _{1}}}}=\sum \limits _{k=1}^{n}{e ^{{ x_{k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})))\end{array}}\right.$

A megoldás létezésének és egyediségének bizonyítása ebben az esetben sokkal nehezebb. Továbbá a paraméterek megtalálásának problémája, valamint a rendszer második és harmadik egyenlete. Ha azonban a bizonyítás lehetséges, akkor az extrém eloszlás adott paraméterekkel csak a talált alakot kapja. $\lambda _{1}$ $\lambda _{2}$

Csak a várható érték ismert (folyamatos eset)

Tételezzük fel, hogy csak valamely valószínűségi változó folytonos valószínűségi eloszlásának elvárását ismerjük : . Mi ebben az esetben a valószínűségi sűrűség-eloszlás függvénye? $X$ $M[X]=\int \limits _{-\infty }^{\infty }{xf(x)dx}=m$ $f(x)$

A terjesztésre további korlátozások vonatkoznak:

$\forall x:f(x)\geq 0$
$\int \limits _{-\infty }^{\infty }{f(x)dx}=1$

A maximális entrópia elve szerint ilyen feltételek mellett szükséges a függvény maximalizálása ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx))$

Összeállítjuk a Lagrange függvényt, és megtaláljuk , amelyre egy szélsőség lehetséges : $f(x)$ $H$ $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}xf(x)$

Az Euler-Lagrange egyenletnek ebben az esetben a következő alakja van . ${\frac {\partial L}{\partial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2))x=0$

Megoldása a függvény , vagyis a kitevő. $f(x)={e^{{\lambda _{2}}x+{\lambda _{1}}-1}}$

Nyilvánvaló, hogy egy ilyen függvény grafikonja alatti terület csak akkor lehet véges, ha legfeljebb egy integrálási határ irányul a végtelenbe. Ezért feltételezzük, hogy egy valószínűségi változó csak valamilyen véges vagy félvégtelen tartományban vehet fel értéket , nem feltétlenül egyszerűen összekapcsolva. Minden más ponton a függvény nullával egyenlő. $X$ $G$ $f(x)$

Az és az együtthatók értékének megtalálásához az eloszlásra támasztott feltételekből egyenletrendszert kell összeállítani és azt megoldani . A rendszer így néz ki: $\lambda _{1}$ $\lambda _{2}$

$\left\{{\begin{array}{l}\int \limits _{-\infty }^{\infty }{xf(x)dx}=\int \limits _{G}{x{ e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=m\\\int \limits _{-\infty }^{\infty }{f(x) dx}=\int \limits _{G}{{e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=1\end{array}}\right.$ és eszünkbe lehet juttatni . $\left\{{\begin{array}{l}m={\frac {\int \limits _{G}{x{e^({\lambda _{2}}x}}dx}} {\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}}}\\{e^{1-{\lambda _{1}}}}=\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}\end{array}}\right.$

Itt az összes integrál "le van véve", így egyedileg kifejezhető - csak a területet kell pontosabban megadni . Ebben az esetben a talált megoldás egyedi. $\lambda _{2}$ $m$ $G$

Mivel az együttható egyedi módon van kifejezve -on keresztül , akkor egyedi. A megtalált megoldás egyedisége miatt a funkció maximalizálja a funkcionális . Ekkor a függvény alakja . $\lambda _{1}$ $\lambda _{2}$ $f(x)$ $H$ $f(x)$ $f(x)={\frac {e^{{\lambda _{2}}x}}{\int \limits _{G}{{e^{{\lambda _{2}}t} }dt}}}$

A talált eloszlást egy folytonos valószínűségi változó Boltzmann (vagy Gibbs) eloszlásának nevezzük.

Csak a második kezdeti momentum ismert (folyamatos eset)

Tegyük fel , hogy valamely folytonos valószínűségi változó valószínűségi eloszlásának csak a második kezdeti momentuma ismert : . Mi az eloszlás ebben az esetben? ${\delta ^{2))$ $X$ ${\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f(x)dx}$

Ebben az esetben a Lagrange függvény alakja . $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}{x^{2}}f(x)$

Az Euler-Lagrange egyenlet alakja . ${\frac {\partial L}{\partial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2)){x^{2))= 0$

Megoldása a függvény . $f(x)={e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}$

Nyilvánvaló, hogy a gráf alatti terület csak abban az esetben lehet véges . Ha , akkor egyenletes eloszlást kapunk, amelyet már korábban figyelembe vettünk. $f(x)$ $\lambda _{2}<0$ $\lambda _{2}=0$

Az és az együtthatók értékének megtalálásához az eloszlásra támasztott feltételekből egyenletrendszert kell összeállítani, és meg kell oldani: $\lambda _{1}$ $\lambda _{2}$

$\left\{{\begin{array}{l}{\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f( x)dx}=\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}+{\ lambda _{1}}-1}}dx}\\1=\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{-\infty }^ {\infty }{{e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}dx}\end{array}}\right.$

Mivel itt van egy határozott Euler-Poisson integrál , a rendszer így írható fel:

$\left\{{\begin{array}{l}{\delta ^{2}}={\frac {\int \limits _{-\infty }^{\infty }{{x^{2 }}{e^{{\lambda _{2}}{x^{2}}}}dx}}{\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}}}\\\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}}}dx}=-{\frac {1}{2{\lambda _{2}}}}\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}\\{e^{1-{\lambda _{1}}}}=\int \limits _{ -\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}={\sqrt {-{\frac {\pi }{\lambda _ {2}}}}}\end{tömb}}\jobbra.$ , honnan végre $\left\{{\begin{array}{l}f(x)={e^{{\lambda _{1}}-1}}{e^{{\lambda _{2}}{ x^{2))))={\frac {1}{\delta {\sqrt {2\pi )))){e^{-{\frac {1}{2)){{\left({ \frac {x}{\delta }}\right)}^{2))))\\{\delta ^{2}}=-{\frac {1}{2{\lambda _{2}}} }\\{e^{1-{\lambda _{1))))={\sqrt {-{\frac {\pi }{\lambda _{2))))}\end{tömb))\ jobb.$

Tehát az eloszlás normális eloszlás , nulla átlaggal és szórással . $X$ ${\delta ^{2))$

A várakozás és a második kezdeti momentum ismert (folyamatos eset)

Ebben az esetben a Lagrange függvény alakja . $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}xf(x)+{\lambda _{3} }{x^{2}}f(x)$

Az Euler-Lagrange egyenlet alakja . ${\frac {\partial L}{\partial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2))x+{\lambda _{3} }{x^{2}}=0$

Megoldása a függvény . $f(x)={e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}$

Vegyük újra . $\lambda _{3}<0$

A , , együtthatók értékeinek megtalálásához az eloszlásra támasztott feltételekből egyenletrendszert kell összeállítani és azt megoldani: $\lambda _{1}$ $\lambda _{2}$ $\lambda _{3}$

$\left\{{\begin{array}{l}{\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f( x)dx}=\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{3}}{x^{2}}+{\ lambda _{2}}x+{\lambda _{1}}-1}}dx}\\m=\int \limits _{-\infty }^{\infty }{xf(x)dx}=\int \limits _{-\infty }^{\infty }{x{e^({\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1 }}-1}}dx}\\1=\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{-\infty }^{\infty } {{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}\end{array}} \jobb.$

Egy szám integrálban lévő foka a következőképpen ábrázolható: , ahol , . $e$ ${\lambda _{3}}{x^{2}}+{\lambda _{2}}x=-{\frac {1}{2}}{\frac {{{\left({ x-{\frac {\lambda _{2}}{-2{\lambda _{3}}}}}\jobbra)}^{2}}-{{\left({\frac {\lambda _{ 2}}{-2{\lambda _{3}}}}\right)}^{2}}}{1/(-2{\lambda _{3}})))=-{\frac {1 }{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}$ $m'={\frac {\lambda _{2}}{-2{\lambda _{3}}}}$ $D=-{\frac {1}{2{\lambda _{3))))$

Akkor

$\left\{{\begin{array}{l}{\frac {m}{1}}={\frac {\int \limits _{-\infty }^{\infty }{x{e ^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}}{\int \limits _{- \infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}} dx}}}={\frac {{\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{x{e^{{\lambda _ {3}}{x^{2}}+{\lambda _{2}}x}}dx}}{{\frac {1}{\sqrt {D2\pi }}}\int \limits _{- \infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x}}dx}}}={\frac {{ \frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{x{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}}}dx}}{{\frac {1}{\sqrt {D2 \pi }}}\int \limits _{-\infty }^{\infty }{{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\ jobb)}^{2}}-m{'^{2}}}{D}}}}dx}}}={\frac {m'}{1}}\\{\frac {\delta ^{ 2}}{1}}={\frac {\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{3}}{x^ {2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}}{\int \limits _{-\infty }^{\infty }{{e^{ {\lambda _{3}}{x^{2}}+{\lamb da _{2}}x+{\lambda _{1}}-1}}dx}}}={\frac {{\frac {1}{\sqrt {D2\pi }}}\int \limits _{ -\infty }^{\infty }{{x^{2}}{e^{-{\frac {1}{2}}{\frac {({\left({xm'}\right)}^ {2}}-m{'^{2}}}{D}}}}dx}}{{\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty } ^{\infty }{{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2 }}}{D}}}}dx}}}={\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{{x^{ 2}}{e^{-{\frac {1}{2}}{\frac {{\left({xm'}\right)}^{2}}{D}}}}dx}=D+ m {'^{2}}\\1=\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\ lambda _{2}}x+{\lambda _{1}}-1}}dx}={e^{{\lambda _{1}}-1}}\int \limits _{-\infty }^{ \ infty }{{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}} } {D}}}}dx}={e^{{\lambda _{1}}-1+{\frac {m{'^{2}}}{2D}}}}{\sqrt {D2\ pi }}\end{tömb}}\jobbra.$ ,

ahol

$\left\{{\begin{array}{l}m=m'={\frac {\lambda _{2}}{-2{\lambda _{3}}}}\\{\delta ^{2}}-{m^{2}}={\delta ^{2}}-m{'^{2}}=D=-{\frac {1}{2{\lambda _{3} ))}\\{e^{{\lambda _{1}}-1}}={\frac {e^{-{\frac {m^{2}}{2D}}}}{\sqrt { D2\pi }}}\end{tömb}}\jobbra.$ .

Nyilvánvalóan az eloszlás varianciája . $D$ $f(x)$

Végül a függvényt felírhatjuk így is . $f(x)$ $f(x)={e^{{\lambda _{1}}-1}}{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2 }}x}}={\frac {e^{-{\frac {m^{2}}{2D}}}}{\sqrt {D2\pi }}}{e^{-{\frac {1 }{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}}}={\frac {1} {\sqrt {D2\pi }}}{e^{-{\frac {1}{2}}{\frac {{\left({xm}\right)}^{2}}{D}}} }$

Tehát normális eloszlást kaptunk átlaggal és szórással . $m$ $D$

Könnyen belátható, hogy kezdetben nem az eloszlás második kezdőmomentumát, hanem szórását lehetett beállítani, és így is normális eloszlást kaptunk volna a megadott paraméterekkel.

Extrém eloszlások táblázata

Az alábbi táblázatban minden felsorolt eloszlás maximalizálja az entrópiát az eloszlásra támasztott feltételek mellett, amint azt a harmadik oszlop jelzi. A negyedik oszlop a valószínűségi változó definíciós tartományát mutatja.

Az extrém eloszlások táblázata

terjesztés	Funkció valószínűségek/sűrűség valószínűségek	Korlátozások, rárakva terjesztés	Vidék definíciók véletlen mennyiségeket
Egyenruha (diszkrét)	$f(k)={\frac {1}{b-a+1))$	Nem	${\begin{array}{l}\{a,a+1,\\...,\\b-1,b\}\,\\\end{array}}$
Egyenruha (folyamatos)	$f(x)={\frac {1}{ba}}$	Nem	$[a,b]\,$
Bernoulli	${\displaystyle f(k)=p^{k}(1-p)^{1-k))$	$M[k]=p\,$	$\{0,1\}\,$
Geometriai	$f(k)=(1-p)^{k-1}\,p$	$M[k]={\frac {1}{p}}\,$	$\{1,2,3,...\}\,$
Exponenciális	$f(x)=\lambda \exp \left(-\lambda x\right)$	$M[x]={\frac {1}{\lambda }}\,$	$[0,\infty )\,$
Laplace	$f(x)={\frac {1}{2b}}\exp \left(-{\frac {\|x-\mu \|}{b}}\right)$	$M[\|x-\mu \|]=b\,$	$(-\infty ,\infty )\,$
angol Aszimmetrikus_Laplace_eloszlás	$f(x)={\frac {\lambda \,e^{-(xm)\lambda s\kappa ^{s))}{\kappa +1/\kappa }}\,(s\! =\!\operátornév {sgn}(x\!-\!m))$	$M[(xm)s\kappa ^{s}]=1/\lambda \,$	$(-\infty ,\infty )\,$
Pareto	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1))))$	$M[\ln(x)]={\frac {1}{\alpha }}+\ln(x_{m})\,$	$[x_{m},\infty )\,$
Normál	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2))))\exp \left(-{\frac {(x-\mu )^{2} }{2\sigma ^{2}}}\jobbra)$	${\begin{array}{l}M[x]=\mu ,\,\\M[(x-\mu )^{2}]=\sigma ^{2}\\\end{tömb }}$	$(-\infty ,\infty )\,$
angol Von_Mises_distribution	$f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp {(\kappa \cos {(\theta -\mu )})}$	${\begin{array}{l}M[\cos \theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )))\cos \mu ,\ ,\\M[\sin \theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu \\\end{array}}$	$[0,2\pi )\,$
Rayleigh	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\ jobb)$	${\begin{array}{l}M[x^{2}]=2\sigma ^{2},\\M[\ln(x)]={\frac {\ln(2\sigma ^{2})-\gamma _{E}}{2}}\,\\\end{array}}$	$[0,\infty )\,$
Beta	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )))$	${\begin{array}{l}M[\ln(x)]=\psi (\alpha )-\psi (\alpha +\beta ),\,\\M[\ln(1-x )]=\psi (\beta )-\psi (\alpha +\beta )\,\\\end{tömb}}$	$[0,1]\,$
Cauchy	$f(x)={\frac {1}{\pi (1+x^{2})))$	$M[\ln(1+x^{2})]=2\ln 2$	$(-\infty ,\infty )\,$
angol Chi_eloszlás	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)))x^{k-1}\exp \left(-{\frac {x^ {2}}{2}}\jobbra)$	${\begin{array}{l}M[x^{2}]=k,\,\\M[\ln(x)]={\frac {1}{2))\left[\ psi \left({\frac {k}{2}}\right)\!+\!\ln(2)\right]\\\end{array}}$	$[0,\infty )\,$
chi-négyzet	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1 }\exp \left(-{\frac {x}{2}}\right)$	${\begin{array}{l}M[x]=k,\,\\M[\ln(x)]=\psi \left({\frac {k}{2))\right) +\ln(2)\\\end{tömb}}$	$[0,\infty )\,$
angol Erlang_eloszlás	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	${\begin{array}{l}M[x]=k/\lambda ,\,\\M[\ln(x)]=\psi (k)-\ln(\lambda )\\\ end{array}}$	$[0,\infty )\,$
Gamma	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)))$	${\begin{array}{l}M[x]=k\theta ,\,\\M[\ln(x)]=\psi (k)+\ln(\theta )\\\end {sor}}$	$[0,\infty )\,$
lognormális	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi ))))\exp \left(-{\frac {(\ln x-\mu )^{2 }}{2\sigma ^{2}}}\jobbra)$	${\begin{array}{l}M[\ln(x)]=\mu ,\\M[(\ln(x)-\mu )^{2}]=\sigma ^{2} \,\\\end{tömb}}$	$[0,\infty )\,$
Maxwell	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(- {\frac {x^{2}}{2a^{2}}}\jobbra)$	${\begin{array}{l}M[x^{2}]=3a^{2},\,\\M[\ln(x)]\!=\!1\!+\! \ln \left({\frac {a}{\sqrt {2}}}\right)\!-\!{\frac {\gamma _{E}}{2}}\\\end{array}}$	$[0,\infty )\,$
Weibulla	$f(x)={\frac {k}{\lambda ^{k))}x^{k-1}\exp \left(-{\frac {x^{k)){\lambda ^ {k}}}\jobbra)$	${\begin{array}{l}M[x^{k}]=\lambda ^{k},\\M[\ln(x)]=\ln(\lambda )-{\frac { \gamma _{E}}{k}}\,\\\end{array}}$	$[0,\infty )\,$
Többdimenziós Normál	$f_{X}({\vec {x)))=$ ${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{ -1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left\|\Sigma \right\|^{1 /2}}}$	${\begin{array}{l}M[{\vec {x}}]={\vec {\mu )),\,\\M[({\vec {x}}-{\vec {\mu )))({\vec {x))-{\vec {\mu )))^{T}]=\Sigma \,\\\end{array))$	$(-{\vec {\infty )),{\vec {\infty )))\,$
Binomiális	${\displaystyle f(k)={n \choose k}p^{k}(1-p)^{nk))$
Poisson	$f(k)={\frac {\exp ^{-\lambda }\lambda ^{k}}{k!)}}$

Lásd még

Jegyzetek

↑ 12 Jaynes , ET Információelmélet és statisztikai mechanika (angol) // Physical Review : folyóirat. - 1957. - 1. évf. II. sorozat , 2. sz. 4 . - P. 620-630 . - doi : 10.1103/PhysRev.106.620 . - .
↑ Jaynes, ET Információelmélet és statisztikai mechanika II (angol) // Physical Review : folyóirat. - 1957. - 1. évf. II. sorozat , 2. sz. 2 . - 171-190 . o . - doi : 10.1103/PhysRev.108.171 . - .
↑ i. e. 123 _ _ Shannon. A kommunikáció matematikai elmélete . Az eredetiből archiválva : 2016. március 29.
↑ I.N. Beckman. Informatika. Előadások menete . — P. Az entrópia fogalmának kialakulásának szakaszai . Az eredetiből archiválva : 2016. december 13.
↑ V.A. Fursov. Információelmélet. - Samara: SGAU, 2011. - 15. o.

Irodalom

Golitsyn G.A. Információ és kreativitás. - M . : Orosz világ, 1997. - 304 p. — ISBN 5-85810-039-2 .
Yu. G. Rudoy. Általános információs entrópia és nem kanonikus eloszlás az egyensúlyi statisztikai mechanikában
Jaynes, ET Information Theory and Statistical Mechanics // Statisztikai fizika (meghatározatlan) / Ford, K. (szerk.). - New York: Benjamin, 1963. - S. 181.
Jaynes, ET, 1986 (új verzió online 1996), „Monkeys, kenguruos and ” $N$ , in Maximum-Entropy and Bayesian Methods in Applied Statistics , JH Justice (szerk.), Cambridge University Press, Cambridge, p. 26.
Bajkova, AT, 1992, A maximális entrópia módszerének általánosítása komplex függvények rekonstrukciójára . Astronomical and Astrophysical Transactions, V.1, 4. szám, p. 313-320.
Giffin, A. és Caticha, A., 2007, A valószínűségek frissítése adatokkal és pillanatokkal
Guiasu, S. és Shenitzer, A., 1985, „A maximális entrópia elve”, The Mathematical Intelligencer, 7 (1), 42-48.
Harremoës P. és Topsøe F., 2001, Maximum Entropy Fundamentals , Entropy, 3(3), 191-226.
Kapur, JN; és Kesavan, HK , 1992, Entrópiaoptimalizálási elvek alkalmazásaival , Boston: Academic Press. ISBN 0-12-397670-7
Kitamura, Y., 2006, Empirical Likelihood Methods in Econometrics: Theory and Practice , Cowles Foundation Discussion Papers 1569, Cowles Foundation, Yale Egyetem.
Lazar, N., 2003, "Bayesian Empirical Likelihood", Biometrika, 90, 319-326.
Owen, AB, Empirical Likelihood , Chapman és Hall.
Schennach, SM, 2005, "Bayesian Exponencially Tilted Empirical Likelihood", Biometrika, 92(1), 31-46.
Uffink, Jos, 1995: „Megmagyarázható-e a maximális entrópia elve konzisztenciakövetelményként?” , Studies in History and Philosophy of Modern Physics 26B , 223-261.