Valószínűségi függvény

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2020. március 17-én felülvizsgált verziótól ; az ellenőrzések 5 szerkesztést igényelnek .

A valószínűségi függvény a matematikai statisztikában egy paraméteres eloszlásból vett mintának egy paraméter függvényének tekintett együttes eloszlása . Ez az ezekre a mintaértékekre kiszámított együttes sűrűségfüggvényt (folyamatos eloszlásból származó minta esetén) vagy együttes valószínűséget (diszkrét eloszlásból származó minta esetén) használja.

A valószínűség és a valószínűség fogalma szorosan összefügg. Hasonlíts össze két mondatot:

"Mekkora a valószínűsége annak, hogy két kocka 100 dobása után 12-t kapunk?"
"Mennyire valószínű, hogy a kocka nincs betöltve, ha száz dobásból mindegyik 12 pontot ad?"

Ha a valószínűségi eloszlás függ a paramétertől , akkor egyrészt figyelembe vehetjük az események feltételes valószínűségét egy adott paraméterre , másrészt egy adott esemény valószínűségét a paraméter különböző értékeire . Az első eset egy olyan függvénynek felel meg, amely az eseménytől függ : , a második pedig egy olyan függvénynek, amely egy paramétertől függ egy fix eseménnyel : . Az utolsó kifejezés a valószínűségi függvény, és megmutatja, hogy a kiválasztott paraméterérték mennyire valószínű egy ismert eseményhez . $\theta$ $x$ $\theta$ $x$ $\theta$ $x$ $P(x)=P(x\mid \theta )$ $\theta$ $x$ $L(\theta )=L(\theta \mid x=X)$ $\theta$ $x$

Informálisan : ha a valószínűség lehetővé teszi számunkra, hogy ismert paraméterek alapján előre jelezzük az ismeretlen kimeneteleket, akkor a valószínűség lehetővé teszi, hogy ismert eredmények alapján becsüljük meg az ismeretlen paramétereket.

L(\theta \mid x)=p_{\theta }(x)=P_{\theta}(X=x)

Fontos megérteni, hogy a valószínűség abszolút értékéből nem lehet valószínűségi ítéleteket hozni. A Likelihood lehetővé teszi több, különböző paraméterekkel rendelkező valószínűségi eloszlás összehasonlítását, és annak összefüggésében annak értékelését, hogy a megfigyelt események közül melyek a legvalószínűbbek.

Definíció

Adjuk meg a valószínűségi eloszlások parametrikus családját , és adjunk meg néhány mintát . Tegyük fel, hogy ennek a mintának az együttes eloszlását egy függvény adja meg , ahol vagy egy valószínűségi sűrűség , vagy egy véletlenvektor valószínűségi függvénye . $\{\mathbb {P} _{\theta }\}_{\theta \in \Theta }$ $X_{1},\ldots ,X_{n}\sim \mathbb {P} _{\theta }$ $\theta \in \Theta$ $f_{\mathbf {X} }(\mathbf {x} \mid \theta ),\;\mathbf {x} \in \mathbb {R} ^{n}$ $f_{\mathbf {X} }$ $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$

Rögzített mintavételezés esetén a függvényt likelihood függvénynek [1] nevezzük . $\mathbf {X} =\mathbf {x}$ $f_{\mathbf {X} }(\theta \mid \mathbf {x} )\colon \Theta \to \mathbb {R}$

Log-likelihood függvény

Sok alkalmazásban meg kell találni a valószínűségi függvény maximumát, amely a derivált kiszámításához kapcsolódik. A logaritmus monoton növekvő függvény, így a függvény logaritmusa ugyanazon a ponton éri el a maximumát, mint maga a függvény. Másrészt a szorzat logaritmusa egy összeg, ami leegyszerűsíti a differenciálást. Ezért gyakorlati számításokhoz célszerű a likelihood függvény logaritmusát használni.

A függvényt logaritmikus likelihood függvénynek nevezzük [1] . $L(\theta \mid \mathbf {x} )=\ln f_{\mathbf {X} }(\theta \mid \mathbf {x} )$
Ha a minta független , akkor

f_{\mathbf {X} }(\mathbf {x} \mid \theta )=\prod \limits _{i=1}^{n}f_{X_{i))(x_{i}\ mid\theta)

ahol a sűrűség- vagy valószínűségi eloszlásfüggvény . A log-likelihood függvénynek ebben az esetben az alakja van $f_{X_{i}}(\cdot \mid \theta )$ $\mathbb {P} _{\theta }$

L(\theta \mid \mathbf {x} )=\sum \limits _{i=1}^{n}\ln f_{X_{i}}(\theta \mid x_{i})

Példa

Legyen annak a valószínűsége , hogy egy érmefeldobásra fejet kapunk. Ez az érték tekinthető olyan paraméternek, amely 0-tól 1-ig vesz fel értékeket. Legyen az esemény két sas elvesztése két egymást követő érmefeldobás során. Feltételezve, hogy mindkét dobás eredménye független, azonos eloszlású valószínűségi változó , az esemény valószínűsége egyenlő lesz . Ennek megfelelően a $p_{O}$ $OO$ $OO$ ${\displaystyle p_{O}^{2))$ $p_{O}=0{,}5$

P(OO\mid p_{O}=0{,}5)=0{,}25.

Így a likelihood függvény a paraméter értékénél és az esemény bekövetkezésének feltétele mellett 0,25, amely matematikailag felírható: $p_{O}=0{,}5$ $OO$

L(p_{O}=0{,}5\mid OO)=0{,}25.

Ez a tény nem azonos a Bayes-tételből adódó "a valószínűsége annak, hogy egy esemény bekövetkezése esetén 0,25" állítással . $p_{O}=0{,}5$ $OO$

Az ebben a példában megadott valószínűségi függvény másodfokú , így ennek a függvénynek az integrálja a paraméterértékek teljes tartományában 1/3 lesz. Ez a tény egy másik különbséget mutat a likelihood-függvény és a szokásos valószínűségi sűrűség között, amelynek integráljának egyenlőnek kell lennie eggyel. $p_{O}$

Történelem

A hitelességet először Thorvald Thiele 1889 -ben megjelent könyvében említették [2] .

A valószínűség gondolatának teljes leírását először Ronald Fisher adta meg 1922 - ben "The Mathematical Foundations of Theoretical Statistics" [3] című munkájában . Ebben a munkában Fisher a maximum likelihood módszer kifejezést is használja . Fisher kifogásolja az inverz valószínűség használatát a statisztikai következtetések alapjaként, és helyette a likelihood függvény használatát javasolja.

Lásd még

Maximális valószínűség módszere

Jegyzetek

↑ 1 2 Borovkov, 2010 , p. 105.
↑ Steffen L. Lauritzen, Aspects of TN Thiele's Contributions to Statistics Archivált 2007. október 1., a Wayback Machine (1999). (Angol)
↑ Ronald A. Fisher. "Az elméleti statisztika matematikai alapjairól". Philosophical Transactions of the Royal Society , A, 222:309-368 (1922). (a 6. szakaszban említett "valószínűség") (eng.)

Irodalom

Borovkov, A. A. Matematikai statisztika: Tankönyv. - 4. kiadás, törölve .. -Szentpétervár. : Lan, 2010. - 704 p. - (Tankönyvek egyetemek számára. Szakirodalom). -ISBN 978-5-8114-1013-2.