Legkisebb négyzet alakú módszer

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2022. június 3-án felülvizsgált verziótól ; az ellenőrzések 4 szerkesztést igényelnek .

A legkisebb négyzetek módszere (LSM) egy matematikai módszer, amelyet különféle problémák megoldására használnak, és azon alapul, hogy minimalizálják egyes függvények kísérleti bemeneti adatoktól való eltéréseinek négyzetösszegét. Használható túldefiniált egyenletrendszerek "megoldására" (amikor az egyenletek száma meghaladja az ismeretlenek számát), megoldást találni közönséges (nem túlhatározott) nemlineáris egyenletrendszerek esetén, közelíteni a pontértékeket. egy bizonyos funkció. Az OLS a regresszióanalízis egyik alapvető módszere a regressziós modellek ismeretlen paramétereinek mintaadatokból történő becslésére.

Történelem

A XIX. század elejéig. a tudósoknak nem voltak bizonyos szabályai egy olyan egyenletrendszer megoldására , amelyben az ismeretlenek száma kevesebb, mint az egyenletek száma; Addig az egyenletek típusától és a számológépek találékonyságától függően sajátos módszereket alkalmaztak, ezért a különböző számológépek azonos megfigyelési adatokból kiindulva eltérő következtetésekre jutottak. Gauss (1795) nevéhez fűződik a módszer első alkalmazása, Legendre (1805) pedig önállóan fedezte fel és publikálta mai nevén ( franciául: Méthode des moindres quarrés ) [1] . Laplace összekapcsolta a módszert a valószínűség elméletével , és Adrain amerikai matematikus (1808) annak valószínűségi alkalmazásait vizsgálta [2] . A módszer széles körben elterjedt, és Encke , Bessel , Hansen és mások további kutatásai továbbfejlesztették .

A. A. Markov 20. század eleji munkái lehetővé tették a legkisebb négyzetek módszerének beépítését a matematikai statisztika becslési elméletébe , amelyben ez fontos és természetes része. Y. Neiman, F. David, A. Aitken, S. Rao erőfeszítései révén számos fontos eredmény született ezen a területen [3] .

A legkisebb négyzetek módszerének lényege

Legyen , skaláris kísérleti adatok halmaza , vektoros kísérleti adatok halmaza, és tegyük fel, hogy függ -től . $y_{i}$ $i=1,...n$ $x_{i}$ $i=1,...n$ $y$ $x$

Bevezetünk néhány (legegyszerűbb esetben lineáris) skalárfüggvényt , amelyet az ismeretlen paraméterek vektora határoz meg . $f(x,{\boldsymbol {\beta )))$ $\beta$

A feladat egy olyan vektor megtalálása , amelyben a hibák összessége bizonyos értelemben minimális. $\beta$ $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta )))$

A legkisebb négyzetek módszere szerint a probléma megoldása a vektor , amely minimalizálja a függvényt $\beta$

S({\boldsymbol {\beta )))=\sum _{i=1}^{n}(y_{i}-f(x_{i},{\boldsymbol {\beta )))) ^{2}.

A legegyszerűbb esetben , és akkor a legkisebb négyzetek eredménye lesz a bemeneti adatok számtani átlaga. $f(x)=\beta$

Az LSM előnye a más típusú hibák minimalizálásával szemben, hogy ha differenciálható -hoz képest , akkor differenciálható is. A parciális derivált nullával való egyenlővé tétele a problémát egy egyenletrendszer megoldására redukálja, és ha lineárisan függ , akkor az egyenletrendszer lineáris lesz. $f(x,{\boldsymbol {\beta )))$ ${\boldsymbol {\beta ))$ $S({\boldsymbol {\beta )))$ $f(x,{\boldsymbol {\beta )))$ ${\boldsymbol {\beta ))$

Példa erre egy lineáris egyenletrendszer

Különösen a legkisebb négyzetek módszere használható a lineáris egyenletrendszer "megoldására".

ax=b

ahol egy téglalap alakú mátrix (azaz az A mátrix sorainak száma nagyobb, mint a keresett változók száma). $A$ $m\x n,m>n$

Egy ilyen egyenletrendszernek általában nincs megoldása. Ezért ez a rendszer csak abban az értelemben „megoldható”, hogy ilyen vektort választunk, hogy minimalizáljuk a vektorok és a vektorok közötti „távolságot” . Ehhez alkalmazhatja a rendszer bal és jobb oldali egyenletrészei közötti különbségek négyzetösszegének minimalizálására vonatkozó kritériumot, azaz . Könnyen kimutatható, hogy ennek a minimalizálási feladatnak a megoldása a következő egyenletrendszer megoldásához vezet $x$ $Fejsze$ $b$ ${\displaystyle (Ax-b)^{T}(Ax-b)\jobbra \min _{x))$

A^{T}Ax=A^{T}b\Jobbra x=(A^{T}A)^{{-1}}A^{T}b

A pszeudo-inverziós operátor használatával a megoldás a következőképpen írható át:

x=A^{+}b

ahol a pszeudoinverz mátrix . $A^+$ $A$

Ez a probléma az úgynevezett súlyozott legkisebb négyzetek használatával is "megoldható" (lásd alább), amikor a rendszer különböző egyenletei elméleti megfontolásból eltérő súlyt kapnak.

A módszer érdemi alkalmazhatóságának szigorú alátámasztását és határainak meghatározását A. A. Markov és A. N. Kolmogorov adta .

OLS a regressziós elemzésben (adatközelítés)

Legyen valamilyen változó értéke (lehet megfigyelések, kísérletek eredményei stb.) és a megfelelő változók . A feladat az, hogy közelítsük a kapcsolatot néhány ismeretlen paraméterig ismert függvények és függvények között , vagyis valójában megtaláljuk a paraméterek legjobb értékét, amelyek az értékeket a lehető legközelebb hozzák a tényleges értékekhez . Valójában ez egy túl meghatározott egyenletrendszer "megoldásának" esetére redukálódik, tekintettel : $n$ $y$ $x$ $y$ $x$ $f(x,b)$ $b$ $b$ $f(x,b)$ $y$ $b$

$f(x_{t},b)=y_{t},t=1,\ldots ,n$ .

A regressziós elemzésben, és különösen az ökonometriában a változók közötti kapcsolat valószínűségi modelljeit alkalmazzák.

$y_{t}=f(x_{t},b)+\varepszilon _{t}$ ,

hol vannak az úgynevezett véletlenszerű modellhibák. $\varepsilon _{t}$

Ennek megfelelően a megfigyelt értékek eltéréseit a modellértékektől már magában a modellben is feltételezzük. Az LSM (szokásos, klasszikus) lényege, hogy olyan paramétereket találjon, amelyek mellett a négyzetes eltérések (hibák, regressziós modelleknél ezeket gyakran regressziós maradékoknak ) összege minimális lesz: $y$ $f(x,b)$ $b$ $e_{t}$

{\hat b}_{{OLS}}=\arg \min _{{b}}RSS(b)

hol van az angol. A maradék négyzetösszeg [4] meghatározása a következő: $RSS$

RSS(b)=e^{T}e=\sum _{{t=1}}^{n}e_{t}^{2}=\sum _{{t=1}}^{n}( y_{t}-f(x_{t},b))^{2}

Általában ez a probléma numerikus optimalizálási (minimalizálási) módszerekkel oldható meg. Ebben az esetben nemlineáris legkisebb négyzetekről beszélnek (NLS vagy NLLS - angol Non-Linear Least Squares ). Sok esetben analitikus megoldást lehet kapni. A minimalizálási probléma megoldásához meg kell találni a függvény stacionárius pontjait úgy, hogy azt ismeretlen paraméterek alapján differenciáljuk, a deriváltokat nullával egyenlővé kell tenni, és meg kell oldani a kapott egyenletrendszert: $RSS(b)$ $b$

\sum _{{t=1}}^{n}(y_{t}-f(x_{t},b)){\frac {\partial f(x_{t},b)}{\partial b }}=0

OLS lineáris regresszió esetén

Legyen a regressziós függés lineáris :

y_{t}=\sum _{{j=1}}^{k}b_{j}x_{{tj}}+\varepszilon =x_{t}^{T}b+\varepszilon _{t}

Legyen y a magyarázott változó megfigyeléseinek oszlopvektora, és faktorok megfigyelésének mátrixa (a mátrix sorai az adott megfigyelés faktorértékeinek vektorai, az oszlopok mentén pedig az értékek vektorai egy adott tényező minden megfigyelésben). A lineáris modell mátrixábrázolása a következő formájú: $x$ $({n\szer k})$

y=Xb+\varepszilon

Ekkor a magyarázott változó becslési vektora és a regressziós maradékok vektora egyenlő lesz

{\hat y}=Xb,\quad e=y-{\hat {y}}=y-Xb

ennek megfelelően a regressziós maradékok négyzeteinek összege egyenlő lesz

RSS=e^{T}e=(y-Xb)^{T}(y-Xb)

Ezt a függvényt a paramétervektorral differenciálva és a deriváltokat nullával egyenlővé téve egy egyenletrendszert kapunk (mátrix formában): $b$

(X^{T}X)b=X^{T}y

A megfejtett mátrix formában ez az egyenletrendszer így néz ki:

${\begin{pmatrix}\sum x_{{t1}}^{2}&\sum x_{{t1}}x_{{t2}}&\sum x_{{t1}}x_{{t3}}&\ lpont &\sum x_{{t1}}x_{{tk}}\\\sum x_{{t2}}x_{{t1}}&\sum x_{{t2}}^{2}&\sum x_{ {t2}}x_{{t3}}&\lpontok &\sum x_{{t2}}x_{{tk}}\\\sum x_{{t3}}x_{{t1}}&\sum x_{{ t3}}x_{{t2}}&\sum x_{{t3}}^{2}&\lpontok &\sum x_{{t3}}x_{{tk}}\\\vpontok &\vpontok &\vpontok &\dpontok &\vpontok \\\sum x_{{tk}}x_{{t1}}&\sum x_{{tk}}x_{{t2}}&\sum x_{{tk}}x_{{t3 }}&\lpontok &\sum x_{{tk}}^{2}\\\end{pmatrix}}{\begin{pmatrix}b_{1}\\b_{2}\\b_{3}\\ \vdots \\b_{k}\\\end{pmatrix}}={\begin{pmatrix}\sum x_{{t1}}y_{{t}}\\\sum x_{{t2}}y_{{ t}}\\\sum x_{{t3}}y_{{t}}\\\vdots \\\sum x_{{tk}}y_{{t}}\\\end{pmatrix}},$ ahol az összes összeget átveszi az összes megengedett érték . $t$

Ha a modellben (szokás szerint) szerepel egy konstans, akkor mindenre , tehát az egyenletrendszer mátrixának bal felső sarkában a megfigyelések száma , az első sor és az első oszlop többi elemében pedig - csak a változók értékeinek összege: és a rendszer jobb oldalának első eleme a . $x_{{t1}}=1$ $t$ $n$ $\sum x_{{tj}}$ $\sum y_{{t}}$

Ennek az egyenletrendszernek a megoldása adja meg a lineáris modell legkisebb négyzetes becsléseinek általános képletét:

{\hat {b}}_{{OLS}}=(X^{T}X)^{{-1}}X^{T}y=\left({\frac {1}{n}}X ^{T}X\jobbra)^{{-1}}{\frac {1}{n}}X^{T}y=V_{x}^{{-1}}C_{{xy}}

Analitikai célokra ennek a képletnek az utolsó ábrázolása bizonyul hasznosnak (az egyenletrendszerben, ha n-nel osztjuk, az összegek helyett a számtani átlagok jelennek meg). Ha az adatok a regressziós modellben vannak középre állítva , akkor ebben az ábrázolásban az első mátrix a faktorok minta kovarianciamátrixát jelenti, a második pedig a faktor kovarianciavektor a függő változóval. Ha ezen felül az adatokat RMS-re is normalizáljuk (vagyis végül standardizáljuk ), akkor az első mátrix faktorok mintakorrelációs mátrixát, a második vektort pedig függő változós faktorok mintakorrelációinak vektorai jelenti.

A konstans modellek LLS becsléseinek fontos tulajdonsága, hogy a megszerkesztett regresszió vonala átmegy a mintaadatok súlypontján, azaz teljesül az egyenlőség:

{\bar {y}}={\hat {b_{1}}}+\sum _{{j=2}}^{{k}}{\hat {b}}_{j}{\bar { x}}_{j}

Különösen szélsőséges esetben, amikor az egyetlen regresszor egy konstans, azt találjuk, hogy egyetlen paraméter (maga az állandó) OLS-becslése megegyezik a magyarázott változó átlagértékével. Vagyis a nagy számok törvényeiből jó tulajdonságairól ismert számtani átlag is a legkisebb négyzetek becslése - teljesíti az ettől való eltérések minimális négyzetösszegére vonatkozó kritériumot.

A legegyszerűbb speciális esetek

Páros lineáris regresszió esetén, amikor egy változó lineáris függését megbecsüljük egy másik változótól, a számítási képletek leegyszerűsödnek (a mátrixalgebra nélkül is megoldható). Az egyenletrendszernek a következő formája van: $y_{t}=a+bx_{t}+\varepszilon _{t}$

{\begin{pmatrix}n&\sum _{t=1}^{n}x_{t}\\\sum _{t=1}^{n}x_{t}&\sum _{t =1}^{n}x_{t}^{2}\\\end{pmatrix}}{\begin{pmatrix}a\\b\\\end{pmatrix}}={\begin{pmatrix}\sum _{t=1}^{n}y_{t}\\\sum _{t=1}^{n}x_{t}y_{t}\\\end{pmatrix}}

Innen könnyű megtalálni az együtthatók becsléseit:

{\begin{cases}{\hat {b}}={\frac {n\sum _{t=1}^{n}x_{t}y_{t}-\left(\sum _{ t=1}^{n}x_{t}\right)\left(\sum _{t=1}^{n}y_{t}\right)}{n\sum _{t=1}^{ n}x_{t}^{2}-\left(\sum _{t=1}^{n}x_{t}\right)^{2}}},\\{\hat {a}}= {\frac {\sum _{t=1}^{n}y_{t}-{\hat {b))\sum _{t=1}^{n}x_{t}}{n}}. \end{cases}}

Bár a konstans modellek általában előnyösebbek, bizonyos esetekben elméleti megfontolások alapján ismert, hogy a konstansnak nullának kell lennie. Például a fizikában a feszültség és az áram közötti kapcsolat alakja ; feszültség és áram mérésénél meg kell becsülni az ellenállást. Ebben az esetben a modellről beszélünk . Ebben az esetben egyenletrendszer helyett egyetlen egyenletünk van $a$ $U=I\cdot R$ $y=bx$

$\left(\sum x_{t}^{2}\right)b=\sum x_{t}y_{t}$ .

Ezért az egyetlen együttható becslésére szolgáló képlet alakja a következő

${\hat {b))={\frac {\sum _{t=1}^{n}x_{t}y_{t)){\sum _{t=1}^{n}x_ {t}^{2}}}$ .

A polinommodell esete

Ha az adatokat egy változó polinomiális regressziós függvényével közelítjük , akkor az egyes fokszámokat független faktorként felfogva lehetőség nyílik a modell paramétereinek becslésére a lineáris modellparaméterek becslésére szolgáló általános képlet alapján. Ehhez az általános képletben elegendő figyelembe venni, hogy az és ilyen értelmezésével . Ezért a mátrixegyenletek ebben az esetben a következő formában lesznek: ${\displaystyle f(x)=b_{0}+\sum \limits _{i=1}^{k}b_{i}x^{i))$ $x^i$ $én$ ${\displaystyle x_{ti}x_{tj}=x_{t}^{i}x_{t}^{j}=x_{t}^{i+j))$ ${\displaystyle x_{tj}y_{t}=x_{t}^{j}y_{t))$

${\begin{pmatrix}n&\sum \limits _{n}x_{t}&\ldots &\sum \limits _{n}x_{t}^{k}\\\sum \limits _{ n}x_{t}&\sum \limits _{n}x_{t}^{2}&\ldots &\sum \limits _{n}x_{t}^{k+1}\\\vponts & \vdots &\ddots &\vdots \\\sum \limits _{n}x_{t}^{k}&\sum \limits _{n}x_{t}^{k+1}&\lpontok &\ sum \limits _{n}x_{t}^{2k}\end{pmatrix}}{\begin{bmatrix}b_{0}\\b_{1}\\\vdots \\b_{k}\end{ bmatrix}}={\begin{bmatrix}\sum \limits _{n}y_{t}\\\sum \limits _{n}x_{t}y_{t}\\\vdots \\\sum \limits _{n}x_{t}^{k}y_{t}\end{bmatrix}}.$

Az OLS-becslések statisztikai tulajdonságai

Először is megjegyezzük, hogy a lineáris modellek esetében a legkisebb négyzetek becslései lineáris becslések, amint az a fenti képletből következik. Az elfogulatlan OLS becsléseknél szükséges és elegendő a regresszióanalízis legfontosabb feltételének teljesítése : a tényezők függvényében a véletlenszerű hiba matematikai elvárása nullával kell, hogy legyen. Ez a feltétel különösen akkor teljesül, ha

a véletlen hibák matematikai elvárása nulla és
a tényezők és a véletlen hibák független valószínűségi változók .

A konstans modellek első feltétele mindig teljesítettnek tekinthető, mivel a konstans nem nulla matematikai hibaelvárást vesz fel (ezért a konstans modellek általában előnyösebbek).

A második feltétel - az exogén tényezők feltétele - alapvető. Ha ez a tulajdonság nem teljesül, akkor feltételezhetjük, hogy szinte minden becslés rendkívül nem kielégítő: még konzisztens sem lesz (vagyis ebben az esetben még a nagyon nagy adatmennyiség sem teszi lehetővé minőségi becslések készítését). Klasszikus esetben a faktorok determinizmusával kapcsolatban erősebb feltételezés történik, szemben a véletlenszerű hibával, ami automatikusan azt jelenti, hogy az exogén feltétel teljesül. Általános esetben a becslések konzisztenciájához elegendő teljesíteni az exogenitási feltételt a mátrix valamely nem szinguláris mátrixhoz való konvergenciájával, a minta méretének végtelenig történő növelésével. $V_{x}$

Ahhoz, hogy a konzisztencián és a torzítatlanságon kívül a (szokásos) legkisebb négyzetek becslései is hatékonyak legyenek (a lineáris torzítatlan becslések osztályának legjobbjai), a véletlen hiba további tulajdonságainak teljesülniük kell:

A véletlen hibák állandó (ugyanolyan) szórása minden megfigyelésben (nincs heteroszkedaszticitás ): . $V(\varepsilon _{t})=\sigma ^{2}=konst$

A véletlenszerű hibák korrelációjának ( autokorrelációjának ) hiánya a különböző megfigyelésekben egymás között . $cov(\varepsilon _{i},\varepsilon _{j})=0\quad \forall 1\leq i<j\leq n$

Ezek a feltételezések megfogalmazhatók a véletlenszerű hibák vektorának kovarianciamátrixára . $V(\varepsilon )=\sigma ^{2}I$

Az ilyen feltételeket kielégítő lineáris modellt klasszikusnak nevezzük . A klasszikus lineáris regresszióra vonatkozó LLS -becslések torzítatlan , következetes és leghatékonyabb becslések az összes lineáris torzítatlan becslés osztályában . Amint az könnyen látható, az együtthatóbecslési vektor kovarianciamátrixa egyenlő lesz:

$V({\hat {b}}_{{OLS}})=\sigma ^{2}(X^{T}X)^{{-1}}$ .

A hatékonyság azt jelenti, hogy ez a kovarianciamátrix "minimális" (az együtthatóbecslések bármely lineáris kombinációja, és különösen maguknak az együtthatóbecsléseknek van minimális szórása), vagyis a lineáris torzítatlan becslések osztályában az OLS becslések a legjobbak. . Ennek a mátrixnak az átlós elemei, az együtthatóbecslések varianciái fontos paraméterei a kapott becslések minőségének. A kovarianciamátrix kiszámítása azonban nem lehetséges, mivel a véletlen hiba varianciája ismeretlen. Bizonyítható, hogy a véletlenszerű hibák szórásának torzítatlan és konzisztens (a klasszikus lineáris modell esetén) becslése a következő érték:

$s^{2}=RSS/(nk)$ .

Ezt az értéket behelyettesítve a kovarianciamátrix képletébe, megkapjuk a kovarianciamátrix becslését. Az így kapott becslések szintén elfogulatlanok és következetesek . Fontos az is, hogy a hibavariancia (és így az együtthatók szórása) becslése és a modellparaméterek becslései független valószínűségi változók, ami lehetővé teszi a modell együtthatóira vonatkozó hipotézisek teszteléséhez tesztstatisztikák készítését.

Meg kell jegyezni, hogy ha a klasszikus feltevések nem teljesülnek, akkor a legkisebb négyzetek paraméterbecslései nem a leghatékonyabb becslések (maradnak elfogulatlanok és konzisztensek ). A kovarianciamátrix becslése azonban még tovább romlik: elfogulttá és inkonzisztenssé válik . Ez azt jelenti, hogy a megszerkesztett modell minőségére vonatkozó statisztikai következtetések ebben az esetben rendkívül megbízhatatlanok lehetnek. A probléma megoldásának egyik módja a kovarianciamátrix speciális becsléseinek használata, amelyek konzisztensek a klasszikus feltevések megsértése esetén ( standard hibák a White formában és standard hibák a Newey-West formában ). Egy másik megközelítés az úgynevezett általánosított legkisebb négyzetek alkalmazása .

Általánosított legkisebb négyzetek

A legkisebb négyzetek módszere széles körű általánosítást tesz lehetővé. A maradékok négyzetösszegének minimalizálása helyett minimalizálható a maradékvektor valamilyen pozitív-definit másodfokú alakja , ahol van valamilyen szimmetrikus pozitív-határozott súlymátrix. A közönséges legkisebb négyzetek ennek a megközelítésnek egy speciális esete, amikor a súlymátrix arányos az identitásmátrixszal. Mint ismeretes, a szimmetrikus mátrixokra (vagy operátorokra) létezik egy dekompozíció . Ezért a megadott funkcionális a következőképpen ábrázolható: , vagyis ez a funkcionális ábrázolható néhány transzformált „maradék” négyzetösszegeként. Így megkülönböztethetjük a legkisebb négyzetek módszereinek egy osztályát - LS-methods (Least Squares). $e^{T}Mi$ $W$ $W=P^{T}P$ $e^{T}P^{T}Pe=(Pe)^{T}Pe=e_{*}^{T}e_{*}$

Bebizonyosodott (Aitken tétele), hogy egy általánosított lineáris regressziós modellre (amelyben nincs korlátozás a véletlen hibák kovarianciamátrixára) a leghatékonyabbak (a lineáris torzítatlan becslések osztályában) az ún. . generalizált legkisebb négyzetek (GLS, GLS - Generalized Least Squares) - LS-módszer súlymátrixszal, amely megegyezik a véletlen hibák inverz kovarianciamátrixával: . $W=V_{{\varepszilon }}^{{-1}}$

Megmutatható, hogy a lineáris modell paramétereinek GLS-becsléseinek képlete a következő formában van

${\hat {b}}_{{GLS}}=(X^{T}V^{{-1}}X)^{{-1}}X^{T}V^{{-1}} y$ .

Ezeknek a becsléseknek a kovarianciamátrixa egyenlő lesz

$V({\hat {b}}_{{GLS}})=(X^{T}V^{{-1}}X)^{{-1}}$ .

Valójában az OLS lényege az eredeti adatok bizonyos (lineáris) transzformációjában (P) és a szokásos legkisebb négyzetek alkalmazásában rejlik a transzformált adatokra. Ennek az átalakításnak az a célja, hogy a transzformált adatoknál a véletlenszerű hibák már kielégítsék a klasszikus feltételezéseket.

Súlyozott OLS

Átlós súlymátrix (és ennélfogva véletlen hibák kovarianciamátrixa) esetén rendelkezünk az úgynevezett súlyozott legkisebb négyzetekkel. Ebben az esetben a modell maradékainak súlyozott négyzetösszege minimalizálva van, vagyis minden megfigyelés kap egy "súlyt", amely fordítottan arányos a véletlen hiba szórásával ebben a megfigyelésben: . Valójában az adatokat a megfigyelések súlyozásával transzformálják (osztva a véletlenszerű hibák feltételezett szórásával arányos összeggel), és a súlyozott adatokra normál legkisebb négyzeteket alkalmaznak. $e^{T}Mi=\sum _{{t=1}}^{n}{\frac {e_{t}^{2}}{\sigma _{t}^{2}}}$

Lásd még

Jegyzetek

↑ Legendre, A legkisebb négyzeteken. Franciából fordította Henry A. Ruger professzor és Helen M. Walker professzor, Teachers College, Columbia University, New York City. Archiválva : 2011. január 7. a Wayback Machine -nél
↑ Aleksandrova, 2008 , p. 102.
↑ Linnik, 1962 , p. 21.
↑ Magnus, Katyshev, Peresetsky, 2007 , RSS-megjelölés nem egységes. Az RSS lehet a regression sum of squares, az ESS pedig a error sum of squares rövidítése, tehát az RSS és az ESS ellentétes jelentéssel bír. Val vel. 52. 2004-es kiadások..

Irodalom

Yu . V. Linnik A legkisebb négyzetek módszere és a megfigyelésfeldolgozás matematikai-statisztikai elméletének alapjai. - 2. kiadás - M. , 1962.(matematikai elmélet)
Ayvazyan S.A. Alkalmazott statisztika. Az ökonometria alapjai. 2. kötet - M . : Unity-Dana, 2001. - 432 p. - ISBN 5-238-00305-6 .
Dougherty K. Bevezetés az ökonometriába: Per. angolról. - M. : INFRA-M, 1999. - 402 p. — ISBN 8-86225-458-7 .
Kremer N. Sh., Putko B. A. Econometrics. - M . : Unity-Dana, 2003-2004. — 311 p. — ISBN 8-86225-458-7 .
Magnus Ya.R., Katyshev P.K., Peresetsky A.A. Econometrics. Kezdő tanfolyam. - M . : Delo, 2007. - 504 p. - ISBN 978-5-7749-0473-0 .
Ökonometria. Tankönyv / Szerk. Eliseeva I. I. – 2. kiadás. - M. : Pénzügy és statisztika, 2006. - 576 p. — ISBN 5-279-02786-3 .
Aleksandrova N. V. Matematikai kifejezések, fogalmak, megnevezések története: referenciaszótár. - 3. kiadás - M . : LKI, 2008. - 248 p. - ISBN 978-5-382-00839-4 .
Vitkovsky V.V. Legkisebb négyzetek // Brockhaus és Efron enciklopédikus szótára : 86 kötetben (82 kötet és további 4 kötet). - Szentpétervár. , 1890-1907.
Mitin IV, Rusakov VS Kísérleti adatok elemzése és feldolgozása. — 5. kiadás. — 24 s.

Linkek

Online legkisebb négyzetek módszere y = a + bx függőségre együtthatóhibák számításával és autokorrelációs becsléssel.

Szótárak és enciklopédiák	Nagy dán nagy kínai Nagy norvég Nagy orosz Brockhaus és Efron Új
Bibliográfiai katalógusokban	NDL : 00570033 NKC : ph135404

Legkisebb négyzetek és regressziós elemzés

Számítási statisztika

Legkisebb négyzet alakú módszer
Lineáris MNC
Nemlineáris legkisebb négyzetek
LSM a súlyok iteratív újraszámításával

Összefüggés
és függőség

Pearson korrelációs együttható
Rangkorreláció ( Spearman
Kendall )
Részleges korreláció
Torzító tényező

Regresszió analízis

Rendszeres MNC
Részleges legkisebb négyzetek módszere
Legkevesebb teljes négyzet
Ridge regresszió

A regresszió mint
statisztikai
modell

Lineáris regresszió	Egyszerű lineáris regresszió Rendszeres MNC Általánosított legkisebb négyzetek Súlyozott legkisebb négyzetek Lineáris alapmodell
prediktív keretrendszer	Polinomiális regresszió növekedési görbe Szegmentált regresszió Lokális regresszió
Egyedi regresszió	nem lineáris Nem paraméteres félparaméteres fenntartható kvantilis izotóniás
Nem szabványos hibák	Általánosított lineáris modell Binomiális regresszió Poisson regresszió Logisztikus regresszió

Variancia dekompozíció

Varianciaanalízis
Kovarianciaanalízis
Többváltozós varianciaanalízis

Modell tanulmány

C p Mályva
Lépésenkénti regresszió
Statisztikai modell kiválasztása
Regressziós modell érvényesítése

Előfeltételek

Átlagos és várt válasz
Gauss-Markov tétel
Hibák és eltérések
Statisztikai teszt
Studentizált egyensúly
Minimális átlagos négyzet hiba

Kísérleti tervezés

Válaszfelszíni módszertan
Optimális kísérlettervezés
Bayesi kísérlettervezés

Numerikus
közelítés

Alkalmazások

Közelítés görbék segítségével
Kalibrációs görbe
Savitsky-Golay szűrő
Rendszer azonosítás
Mozgó legkisebb négyzetek módszere