Általánosított legkisebb négyzetek

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2015. október 24-én áttekintett verziótól ; az ellenőrzések 4 szerkesztést igényelnek .

A Generalized Least Squares ( GLS , GLS ) egy módszer a regressziós modellek paramétereinek becslésére , amely a klasszikus legkisebb négyzetek módszerének általánosítása . Az általánosított legkisebb négyzetek módszere a regressziós maradékok „általánosított négyzetösszegének” minimalizálására redukál - , ahol a maradékok vektora, egy szimmetrikus pozitív határozott súlyú mátrix. A szokásos legkisebb négyzetek módszere az általánosított speciális esete, amikor a súlymátrix arányos az azonossággal. $e^{T}Mi$ $e$ $W$

Megjegyzendő, hogy egy speciális esetet szoktak általánosított legkisebb négyzetek módszerének nevezni, amikor azt a mátrixot használjuk súlymátrixként, amely a modell véletlenszerű hibáinak kovarianciamátrixának inverze.

Az általánosított legkisebb négyzetek lényege

Ismeretes, hogy egy szimmetrikus pozitív határozott mátrix felbontható így , ahol P valamilyen nem degenerált négyzetmátrix. Ekkor az általánosított négyzetösszeg a transzformált (P felhasználásával) maradékok négyzetösszegeként ábrázolható . Lineáris regresszió esetén ez azt jelenti, hogy az érték minimalizálva van: $W=P^{T}P$ $(Pe)^{T}Pe$ $y=Xb+\varepszilon$

$[P(y-Xb)]^{T}[P(y-Xb)]=(Py-PXb)^{T}(Py-PXb)=(y^{*}-X^{*}b) ^{T}(y^{*}-X^{*}b)~,$

ahol , vagyis az általánosított legkisebb négyzetek lényege az adatok lineáris transzformációjára és a szokásos legkisebb négyzetek alkalmazására redukálódik ezekre az adatokra . Ha a véletlen hibák inverz kovarianciamátrixát (azaz ) használjuk súlymátrixként , a P transzformáció hatására a transzformált modell kielégíti a klasszikus (Gauss-Markov) feltevéseket, ezért a közönséges legkisebb négyzetek felhasználásával végzett paraméterbecslések lesznek a legjobbak. hatékony a lineáris torzítatlan becslések osztályában. És mivel az eredeti és a transzformált modell paraméterei megegyeznek, ez azt az állítást jelenti, hogy a GLSM becslések a leghatékonyabbak a lineáris torzítatlan becslések osztályában (Aitken tétele). Az általánosított legkisebb négyzetek képlete a következő: $y^{*}=Py~,~X^{*}=PX$ $W$ $V$ $\varepsilon$ $W=V^{{-1}}$

${\hat {b}}_{{GLS}}=(X^{T}V^{{-1}}X)^{{-1}}X^{T}V^{{-1}} y$

Ezen becslések kovarianciamátrixa a következő:

$V({\hat {b}}_{{GLS}})=(X^{T}V^{{-1}}X)^{{-1}}$

Megfizethető GLS (FGLS, megvalósítható GLS)

Az általánosított legkisebb négyzetek használatának problémája az, hogy a véletlen hibák kovarianciamátrixa ismeretlen. Ezért a gyakorlatban a GLS egy elérhető változatát használják, amikor a V helyett valamilyen becslést használnak. Azonban ebben az esetben is felmerül egy probléma: a kovarianciamátrix független elemeinek száma , ahol a megfigyelések száma (például 100 megfigyelés esetén 5050 paramétert kell becsülni!). Ezért ez az opció nem teszi lehetővé a paraméterek minőségi becslését. A gyakorlatban további feltételezéseket tesznek a kovarianciamátrix szerkezetére vonatkozóan, vagyis feltételezzük, hogy a kovarianciamátrix elemei kevés számú ismeretlen paramétertől függenek . Számuk sokkal kevesebb legyen, mint a megfigyelések száma. Először a szokásos legkisebb négyzetek módszerét alkalmazzuk, megkapjuk a maradékokat, majd ezek alapján megbecsüljük a jelzett paramétereket . A kapott becslések felhasználásával megbecsüljük a hibakovariancia mátrixot, és alkalmazzuk az általánosított legkisebb négyzeteket ezzel a mátrixszal. Ez az akadálymentes GMS lényege. Bizonyított, hogy bizonyos meglehetősen általános feltételek mellett, ha a becslések konzisztensek, akkor az elérhető CLSM becslései is konzisztensek lesznek. $n(n+1)/2$ $n$ $\theta$ $\theta$ $\theta$

Súlyozott OLS

Ha a hibakovariancia mátrix átlós (van hiba heteroszkedaszticitás, de nincs autokorreláció), akkor az általánosított négyzetösszeg valójában egy súlyozott négyzetösszeg, ahol a súlyok fordítottan arányosak a hibavarianciákkal. Ebben az esetben súlyozott legkisebb négyzetekről (WLS, Weighted LS) beszélünk. A P transzformáció ebben az esetben abból áll, hogy az adatokat elosztjuk a véletlenszerű hibák szórásával. Az így súlyozott adatokra a szokásos legkisebb négyzetek módszerét alkalmazzuk.

Mint általában, a hibavarianciák ismeretlenek, és ugyanazokból az adatokból kell megbecsülni. Ezért a heteroszkedaszticitás szerkezetére vonatkozóan néhány egyszerűsítő feltevés fogalmazódik meg.

A hiba eltérése arányos valamely változó négyzetével

Ebben az esetben a tényleges átlós elemek ezzel a változóval arányos mennyiségek (jelöljük Z ) . Ráadásul az arányossági együtthatóra nincs szükség az értékeléshez. Valójában tehát ebben az esetben az eljárás a következő: osszuk el az összes változót Z -vel (beleértve az állandót is, vagyis egy új 1/Z változó jelenik meg ). Sőt, Z lehet magának az eredeti modellnek az egyik változója (ebben az esetben a transzformált modellnek lesz állandója). A normál legkisebb négyzetek módszerét alkalmazzuk a transzformált adatokra, hogy paraméterbecsléseket kapjunk:

Megfigyelések homogén csoportjai

Legyen n megfigyelés m homogén csoportra bontva, amelyeken belül ugyanazt a szórást feltételezzük. Ebben az esetben a modellt először a hagyományos legkisebb négyzetek segítségével értékeljük ki, és a maradékokat megtaláljuk. Az egyes csoportokon belüli maradékok esetében a csoport hibavarianciáit a maradékok négyzetösszegének és a csoportban végzett megfigyelések számának arányaként becsüljük meg. Továbbá minden j-edik megfigyelési csoport adatait elosztjuk és a szokásos LSM-et alkalmazzuk az így transzformált adatokra a paraméterek becsléséhez. $\sigma _{j}^{2}~,~j=1..m$ $\sigma _{j}$

GLM autokorreláció esetén

Ha a véletlenszerű hibák engedelmeskednek az AR(1) modellnek , akkor az első megfigyelés figyelembe vétele nélkül a P transzformáció a következő lesz: az előző értékek szorozva a következővel: kivonásra kerülnek a változók aktuális értékéből : $\varepsilon _{t}=r\varepsilon _{{t-1}}+u_{t}$ $r$

${\begin{cases}y_{t}^{*}=y_{t}-ry_{{t-1}}\\x_{t}^{*}=x_{t}-rx_{{t-1 }}\\b_{i}^{*}=b_{i},i>0\\b_{0}^{*}=b_{0}(1-r)\end{cases}}$

Ezt a transzformációt autoregresszív transzformációnak nevezzük . Az első megfigyelésnél Price-Winsten korrekciót alkalmazunk - az első megfigyelés adatait megszorozzuk -val . A transzformált modell véletlenszerű hibája , amelyet fehér zajnak feltételezünk. Ezért a hagyományos legkisebb négyzetek használata lehetővé teszi, hogy minőségi becsléseket kapjunk egy ilyen modellről. ${\sqrt {1-r^{2}}}$ $u_{t}$

Mivel az autoregressziós együttható ismeretlen, a rendelkezésre álló GLS különböző eljárásait alkalmazzuk.

A Cochrane-Orcutt eljárás

1. lépés: Értékelje ki az eredeti modellt a legkisebb négyzetek módszerével , és kapja meg a modell maradékait.

2. lépés: A modell maradékainak autokorrelációs együtthatójának becslése (formálisan az autoregressziós paraméter OLS-becsléseként is megkapható a maradékok segédregressziójában ) $e_{t}=re_{{t-1}}+u_{t}$

3. lépés: Az adatok autoregresszív transzformációja (a második lépésben becsült autokorrelációs együttható felhasználásával) és a transzformált modell paramétereinek becslése hagyományos legkisebb négyzetekkel.

A transzformált modell és paraméterbecslései az eredeti modell paraméterbecslései, kivéve az állandót, amelyet úgy állítunk vissza, hogy a transzformált modell állandóját elosztjuk 1-r -rel . Az eljárás a második lépéstől a kívánt pontosság eléréséig megismételhető.

Hildreth-Lou eljárás

Ebben az eljárásban közvetlen keresés történik az autokorrelációs együttható értékére, amely minimalizálja a transzformált modell maradékainak négyzetösszegét. Ugyanis r értékeit a lehetséges intervallumból (-1; 1) állítjuk be valamilyen lépéssel. Mindegyikre autoregresszív transzformációt hajtunk végre, a modellt a szokásos legkisebb négyzetekkel értékeljük, és megtaláljuk a maradékok négyzeteinek összegét. Olyan autokorrelációs együtthatót választunk, amelynél ez a négyzetösszeg minimális. Továbbá a talált pont közelében egy finomabb lépésű rácsot építünk, és az eljárást megismételjük.

Durbin eljárása

Az átalakított modell így néz ki:

$y_{t}-ry_{{t-1}}=b_{0}(1-r)+\sum _{{i=1}}^{k}b_{j}(x_{{tj}}- rx_{{t-1j}})+\varepszilon _{t}-r\varepszilon _{{t-1}}$

A zárójeleket kibontva és a késéstől függő változót jobbra mozgatva azt kapjuk

$y_{t}=b_{0}(1-r)+ry_{{t-1}}+\sum _{{j=1}}^{k}b_{j}x_{{tj}}-\ összeg _{{j=1}}^{k}b_{j}rx_{{t-1j}}+\varepszilon _{t}-r\varepszilon _{{t-1}}$

Bemutatjuk a jelölést . Akkor a következő modellünk van $b_{0}(1-r)=a_{0},~-rb_{j}=a_{j},~u_{t}=\varepszilon _{t}-r\varepszilon _{{t-1} }$

$y_{t}=a_{0}+ry_{{t-1}}+\sum _{{j=1}}^{k}b_{j}x_{{tj}}+\sum _{{j =1}}^{k}a_{j}x_{{t-1j}}+u_{t}$

Ezt a modellt a szokásos legkisebb négyzetek módszerével kell becsülni. Ezután az eredeti modell együtthatói visszaállnak . ${\hat {b}}_{0}={\hat {a}}_{0}/(1-{\hat {r}}),~{\hat {b}}_{j}=- {\hat {a}}_{j}/{\hat {r}}$

Ebben az esetben az autokorrelációs együttható kapott becslése felhasználható autoregresszív transzformációra, és a legkisebb négyzetek alkalmazása erre a transzformált modellre, hogy pontosabb paraméterbecsléseket kapjunk.

Lásd még

Legkisebb négyzet alakú módszer

Irodalom

Magnus Ya.R., Katyshev P.K., Peresetsky A.A. Econometrics. Kezdő tanfolyam . – 2004.

Legkisebb négyzetek és regressziós elemzés

Számítási statisztika

Legkisebb négyzet alakú módszer
Lineáris MNC
Nemlineáris legkisebb négyzetek
LSM a súlyok iteratív újraszámításával

Összefüggés
és függőség

Pearson korrelációs együttható
Rangkorreláció ( Spearman
Kendall )
Részleges korreláció
Torzító tényező

Regresszió analízis

Rendszeres MNC
Részleges legkisebb négyzetek módszere
Legkevesebb teljes négyzet
Ridge regresszió

A regresszió mint
statisztikai
modell

Lineáris regresszió	Egyszerű lineáris regresszió Rendszeres MNC Általánosított legkisebb négyzetek Súlyozott legkisebb négyzetek Lineáris alapmodell
prediktív szerkezet	Polinomiális regresszió növekedési görbe Szegmentált regresszió Lokális regresszió
Egyedi regresszió	nem lineáris Nem paraméteres félparaméteres fenntartható kvantilis izotóniás
Nem szabványos hibák	Általánosított lineáris modell Binomiális regresszió Poisson-regresszió Logisztikus regresszió

Variancia dekompozíció

Varianciaanalízis
Kovariancia-elemzés
Többváltozós varianciaanalízis

Modell tanulmány

C p Mályva
Lépésenkénti regresszió
Statisztikai modell kiválasztása
Regressziós modell érvényesítése

Előfeltételek

Átlagos és várt válasz
Gauss-Markov tétel
Hibák és eltérések
Statisztikai teszt
Studentizált egyensúly
Minimális átlagos négyzet hiba

Kísérleti tervezés

Válaszfelszíni módszertan
Optimális kísérlettervezés
Bayesi kísérlettervezés

Numerikus
közelítés

Alkalmazások

Közelítés görbék segítségével
Kalibrációs görbe
Savitsky-Golay szűrő
Rendszer azonosítás
Mozgó legkisebb négyzetek módszere