Információs kritérium

Az információs kritérium az ökonometriában (statisztikában) használt ökonometriai (statisztikai) modellek relatív minőségének mérőszáma, figyelembe véve a modell adatokhoz való „illeszkedésének” mértékét a felhasznált becsült paraméterek számának korrekciójával (büntetésével). . Vagyis a kritériumok a modell pontossága és összetettsége közötti kompromisszumra épülnek. A kritériumok különböznek attól, hogyan érik el ezt az egyensúlyt.

A kritériumok információs jellege összefügg az információs entrópia fogalmával és a Kullback-Leibler távolsággal , amely alapján kidolgozták a történetileg első kritériumot - az Akaike-kritériumot (AIC) , amelyet 1974-ben Hirotsugu Akaike javasolt [1] .

Az információs kritériumokat kizárólag a modellek egymással való összehasonlítására használjuk, anélkül, hogy e kritériumok értékét értelmes értelmezése lenne. Nem teszik lehetővé a modellek tesztelését a statisztikai hipotézisek tesztelésének értelmében. Jellemzően minél alacsonyabbak a kritériumértékek, annál jobb a modell relatív minősége.

Akaike Information Criteria (AIC)

Hirotugu Akaike javasolta 1971-ben, ő írta le és tanulmányozta 1973-ban, 1974-ben, 1983-ban. Kezdetben a szerző által javasolt AIC rövidítést " információs kritériumként " ("egy bizonyos információs kritérium") fejtették meg, a későbbi szerzők azonban Akaike információs kritériumnak nevezték . A kritérium kezdeti számítási képlete a következő:

AIC=2k-2l

ahol a megszerkesztett modell logaritmikus likelihood függvényének értéke, a felhasznált (becsült) paraméterek száma. $l$ $k$

Sok modern szerző, valamint számos ökonometriai szoftvertermék (például az EViews-ban) egy kissé eltérő képletet használ, amely magában foglalja a minta méretével való elosztást, amely szerint a modell épült: $n$

AIC=2k/n-2l/n

Ez a megközelítés lehetővé teszi a különböző méretű mintákból becsült modellek összehasonlítását.

Minél kisebb a kritériumérték, annál jobb a modell. Sok egyéb kritérium az AIC módosítása.

Bayesi információs kritérium (BIC) vagy Schwartz-kritérium (SC)

A Bayes-féle információs kritériumot (BIC) Schwartz javasolta 1978-ban, ezért gyakran Schwarz-kritériumnak (SC) is nevezik. A Bayes-féle megközelítés alapján fejlesztették ki, és az AIC leggyakrabban használt módosítása:

BIC=SC=k\ln n-2l

A képletből látható, hogy ez a kritérium nagyobb büntetést ró a paraméterek számának növekedésére az AIC-hez képest, mivel már 8 megfigyeléssel több mint 2 $\ln n$

Egyéb információs feltételek

A konzisztens AIC (CAIC) kritérium , amelyet Bozdogan 1987-ben javasolt:

CAIC=(1+\ln n)k-2l

Ez a kritérium aszimptotikusan egyenértékű a -val . Ugyanez a szerző 1994-ben olyan módosításokat javasolt, amelyek a paraméterek számával növelik az együtthatót (a és a 2-3 vagy 4 helyett ) . $BIC$ ${\displaystyle AIC_{3))$ ${\displaystyle AIC_{4))$

A korrigált Akaike teszt (Corrected AIC- ), amelyet kis mintákon javasolt használni (1978-ban javasolta Sugiura): $AIC_{c}$

AIC_{c}=AIC+{\frac {2k(k+1)}{nk-1))

A Hannan-Quinn (HQ) tesztet a szerzők 1979-ben javasolták

HQ=2k\ln \ln n/n-2l/n

Ezt a kritériumot az AIC-vel és a BIC-vel együtt a diszkrét és korlátozott függő változókkal rendelkező modellek kiértékelésekor adják ki az EView-ban.

Vannak olyan AIC-módosítások is, amelyek összetettebb büntetési funkciókat használnak, amelyek Fisher-információktól és egyéb jellemzőktől függenek.

Tájékoztatási kritériumok speciális esetekben

A klasszikus normál lineáris regresszió egy speciális esetben a log-likelihood függvény egyenlő

l=-n/2(1+\ln 2\pi +\ln {\hat {\sigma }}^{2})

ahol a modell véletlenszerű hibájának varianciájának konzisztens becslése (maximum likelihood módszer), amely egyenlő a maradékok négyzetösszegének a mintamérethez viszonyított arányával. ${\hat {\sigma }}^{2}$

A log-likelihood függvény értékét behelyettesítve az AIC képletbe (osztva a minta méretével), valamint figyelmen kívül hagyva az 1 és a konstans tagokat (mivel ezek nem befolyásolják a modellek összehasonlításakor az eredményt), a következőket kapjuk képlet: $\ln 2\pi$

AIC=2k/n+\ln {\hat {\sigma }}^{2}

Tulajdonságok

Különböző kritériumok alkalmazása különböző modellek kiválasztásához vezethet. Sok műben összehasonlítják ezeket a kritériumokat, de nincs végső következtetés az egyik vagy másik kritérium preferenciájáról. Ezért a szoftvertermékek általában legalább két kritériumot (AIC, BIC), egyes modelleknél egy harmadikat is megadnak (HQ). Ismeretes, hogy autoregresszív modelleknél az AIC kritérium túlbecsüli a modell sorrendjét, vagyis a modell sorrendjének e kritérium alapján történő becslése tarthatatlan. Az autoregresszív modell sorrendjének megválasztásának következetes kritériuma a BIC.

Linkek

↑ Akaike, Hirotugu . Új pillantás a statisztikai modell azonosítására (neopr.) // IEEE Transactions on Automatic Control. - 1974. - T. 19 , 6. sz . - S. 716-723 . - doi : 10.1109/TAC.1974.1100705 .

Irodalom

Grasa, Antonio Aznar (1989) Econometric Model Selection: A New Approach, Kluwer.
Greene, William H. (1997) Econometric Analysis, 3. kiadás, Prentice-Hall.