Akaike információs kritérium

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2018. június 29-én felülvizsgált verziótól ; az ellenőrzések 4 szerkesztést igényelnek .

Az Akaike Information Criterion (AIC) egy olyan kritérium, amelyet kizárólag több statisztikai modell közül történő kiválasztáshoz használnak. Hirotsugu Akaike fejlesztette ki 1971-ben "információs kritériumként" ("(bizonyos) információs kritérium"), és egy 1974-es cikkben javasolta [1] .

A kritérium létrehozásának előfeltétele az volt, hogy a modell-előrejelzések minőségét egy tesztmintán, egy betanítási mintán ismert minőséggel értékeljük, feltéve, hogy a modellt a maximum likelihood módszerrel hangoljuk . Azaz a feladat a modell átképzésének értékelése volt . Akaike információelmélet segítségével (beleértve a Kullback-Leibler távolságot is) számos speciális esetre képes volt megszerezni a kívánt becslést.

Definíció

Általában az AIC:

{\mathit {AIC}}=2k-2\ln(L)

ahol a paraméterek száma a statisztikai modellben , a modell valószínűségi függvényének maximalizált értéke . $k$ $L$

Továbbá feltételezzük, hogy a modell hibái normálisan és egymástól függetlenül eloszlanak. Legyen a megfigyelések száma és a maradék négyzetösszeg $n$

{\mathit {RSS}}=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}.

Továbbá feltételezzük, hogy a modell hibavarianciája ismeretlen, de mindegyiknél ugyanaz. Következésképpen:

{\mathit {AIC}}=2k+n[\ln(2\pi {\mathit {RSS}}/n)+1]\,.

Azonos hosszúságú mintákon végzett modellek összehasonlítása esetén a kifejezés egyszerűsíthető olyan kifejezések kidobásával, amelyek csak a következőtől függenek : $n$

{\mathit {AIC}}=2k+n[\ln({\mathit {RSS}})]\,.

Így a kritérium nemcsak a közelítés minőségét díjazza, hanem a túl sok modellparaméter használatát is bünteti. Úgy gondolják, hogy az AIC-kritérium legalacsonyabb értékével rendelkező modell lesz a legjobb. A Schwartz-kritérium (SIC) jobban bünteti az ingyenes paramétereket.

Érdemes megjegyezni, hogy az AIC abszolút értékének nincs értelme - csak az összehasonlított modellek relatív sorrendjét jelzi.

Alkalmazhatóság χ² hangolására (maximális valószínűség)

Gyakran olyan modellek közül kell választani, amelyek hibáit normál eloszlásúnak tekintjük. Ez elvezet a kritériumhoz . $\chi ^{2}$

Ilyen esetekben az AIC adaptálható. A cikk keretében . Magától az AIC-től egy additív konstansban fog különbözni (csak az adatok függvénye, nem a modell függvénye), ami a kritérium relatív jellege miatt elhanyagolható. $AIC_{\chi ^{2}}$

A közelítéshez a valószínűségi függvényt a következőképpen határozzuk meg: $\chi ^{2}$

L=\prod _{i=1}^{n}\left({\frac {1}{2\pi \sigma _{i}^{2))}\right)^{1/2 }\exp \left(-\sum _{i=1}^{n}{\frac {(y_{i}-f(\mathbf {x} ))^{2}}{2\sigma _{i }^{2}}}\jobbra)

\therefore \ln L=\ln \left(\prod _{i=1}^{n}\left({\frac {1}{2\pi \sigma _{i}^{2}} }\jobbra)^{1/2}\jobbra)-{\frac {1}{2}}\sum _{i=1}^{n}{\frac {(y_{i}-f(\mathbf {x} ))^{2}}{\sigma _{i}^{2}}}

\therefore \ln L=C-\chi ^{2}/2

ahol egy modellfüggetlen állandó, amely kizárható az azonos adatokon lévő modellek összehasonlításakor. $C$

Így: . Konstans nélkül: ${\displaystyle AIC=2k-2\ln(L)=2k-2(C-\chi ^{2}/2)=2k-2C+\chi ^{2))$

AIC_{\chi ^{2}}=\chi ^{2}+2k.

A kritériumnak ez a formája gyakran kényelmes, ha már kiszámoltuk , hogy milyen a közelítő minőségi statisztika. Azonos számú ponttal rendelkező adatokon végzett betanítási modellek esetén a legkisebb értékű modellt kell venni . $\chi ^{2}$ $AIC_{\chi ^{2}}$

Hasonlóképpen, ha van egy számított statisztika („Explained Variance”), a következőt írhatjuk: $R^2$

AIC_{R^{2}}=n\ln {\frac {1-R^{2}}{n}}+2k.\

Lásd még

Bayesi információs kritérium (BIC; más néven Schwartz-kritérium, SIC)
Akaike kritérium a Machinelearning.ru oldalon

Linkek

↑ Akaike, HirotuguÚj pillantás a statisztikai modell azonosítására (neopr.) // IEEE Transactions on Automatic Control. - 1974. - T. 19 , 6. sz . - S. 716-723 . - doi : 10.1109/TAC.1974.1100705 .

Irodalom

Akaike, H. Új pillantás a statisztikai modell azonosítására. — IEEE-tranzakciók automatikus vezérlésen. - 1974. - T. 19. - S. 716. - 723 p.
Liddle AR Információs kritériumok az asztrofizikai modell kiválasztásához (hivatkozás nem érhető el) . — A neurális információfeldolgozó rendszerek fejlődése. - Astronomy Centre, University of Sussex, 2008.
Burnham KP, Anderson DR Modellválasztás és multimodell következtetés: gyakorlati információelméleti megközelítés. - 2. kiadás - Springer, 2002. - 488 p. — ISBN ISBN 0-387-95364-7 .
McQuarrie ADR, Tsai CL Regressziós és idősoros modellválasztás. - World Scientific, 1998. - 455 p. — ISBN ISBN 981-02-3242-X .
Bidyuk P. I., Zvorygina T. F. Megfigyelési idősorokon alapuló regressziós modellek konstruálására szolgáló módszerek szerkezeti elemzése .