Metoda nejmenších čtverců

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 3. června 2022; kontroly vyžadují 4 úpravy .

Metoda nejmenších čtverců (LSM) je matematická metoda používaná k řešení různých problémů, založená na minimalizaci součtu čtverců odchylek některých funkcí z experimentálních vstupních dat. Lze jej použít k „řešení“ přeurčených soustav rovnic (když počet rovnic převyšuje počet neznámých), k nalezení řešení v případě běžných (nepřeurčených) nelineárních soustav rovnic, k aproximaci bodových hodnot určité funkce. OLS je jednou ze základních metod regresní analýzy pro odhad neznámých parametrů regresních modelů ze vzorových dat.

Historie

Až do začátku XIX století. vědci neměli určitá pravidla pro řešení soustavy rovnic, ve které je počet neznámých menší než počet rovnic; Do té doby se používaly zvláštní metody v závislosti na typu rovnic a na vynalézavosti kalkulátorů, a proto různé kalkulátory vycházely ze stejných pozorovacích dat k různým závěrům. Gauss (1795) je připisován první aplikaci metody a Legendre (1805) ji nezávisle objevil a publikoval pod jejím moderním názvem ( francouzsky: Méthode des moindres quarrés ) [1] . Laplace spojil metodu s teorií pravděpodobnosti a americký matematik Adrain (1808) uvažoval o jejích pravděpodobnostních aplikacích [2] . Metoda je rozšířena a vylepšena dalším výzkumem Enckeho , Bessela , Hansena a dalších.

Práce A. A. Markova na počátku 20. století umožnily zařadit metodu nejmenších čtverců do teorie odhadu matematické statistiky, v níž je důležitou a přirozenou součástí. Díky úsilí Y. Neimana, F. Davida, A. Aitkena, S. Raa bylo v této oblasti dosaženo mnoha důležitých výsledků [3] .

Podstata metody nejmenších čtverců

Nechť , sada skalárních experimentálních dat, , sada vektorových experimentálních dat, a předpokládá se, že závisí na . $y_{i}$ $i=1,...n$ $x_{i}$ $i=1,...n$ $y$ $X$

Je zavedena nějaká (v nejjednodušším případě lineární) skalární funkce , která je určena vektorem neznámých parametrů . $f(x,{\boldsymbol {\beta )))$ $\beta$

Úkolem je najít takový vektor , aby celkový počet chyb byl v určitém smyslu minimální. $\beta$ $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta )))$

Podle metody nejmenších čtverců je řešením tohoto problému vektor , který funkci minimalizuje $\beta$

S({\boldsymbol {\beta )))=\sum _{i=1}^{n}(y_{i}-f(x_{i},{\boldsymbol {\beta )))) ^{2}.

V nejjednodušším případě bude výsledkem nejmenších čtverců aritmetický průměr vstupních dat. $f(x)=\beta$

Výhoda LSM oproti minimalizaci jiných typů chyb spočívá v tom, že pokud je diferencovatelná vzhledem k , pak je také diferencovatelná. Přirovnání parciálních derivací k nule redukuje problém na řešení soustavy rovnic, a pokud závisí na lineárně, pak soustava rovnic bude lineární. $f(x,{\boldsymbol {\beta )))$ ${\boldsymbol {\beta ))$ $S({\boldsymbol {\beta )))$ $f(x,{\boldsymbol {\beta )))$ ${\boldsymbol {\beta ))$

Příkladem je systém lineárních rovnic

Zejména metoda nejmenších čtverců může být použita k "řešení" systému lineárních rovnic

sekera=b

kde je obdélníková matice velikosti (to znamená, že počet řádků matice A je větší než počet hledaných proměnných). $A$ $m\krát n,m>n$

Takový systém rovnic obecně nemá řešení. Proto lze tento systém „řešit“ pouze ve smyslu výběru takového vektoru , aby se minimalizovala „vzdálenost“ mezi vektory a . K tomu můžete použít kritérium pro minimalizaci součtu čtverců rozdílů levé a pravé části rovnic soustavy, tedy . Je snadné ukázat, že řešení tohoto minimalizačního problému vede k řešení následující soustavy rovnic $X$ $Sekera$ $b$ ${\displaystyle (Ax-b)^{T} (Ax-b)\rightarrow \min _{x))$

A^{T}Ax=A^{T}b\Šipka doprava x=(A^{T}A)^{{-1}}A^{T}b

Pomocí operátoru pseudoinverze lze řešení přepsat takto:

x=A^{+}b

kde je pseudoinverzní matice pro . $A^+$ $A$

I tento problém lze „řešit“ pomocí tzv. vážených nejmenších čtverců (viz dále), kdy různé rovnice soustavy dostávají z teoretických úvah různé váhy.

Striktní zdůvodnění a stanovení mezí smysluplné použitelnosti metody podali A. A. Markov a A. N. Kolmogorov .

OLS v regresní analýze (aproximace dat)

Nechť existují hodnoty nějaké proměnné (mohou to být výsledky pozorování, experimentů atd.) a odpovídající proměnné . Úkolem je aproximovat vztah mezi a pomocí nějaké známé funkce až po některé neznámé parametry , tedy ve skutečnosti najít nejlepší hodnoty parametrů , které se hodnoty co nejvíce přibližují skutečným hodnotám . Ve skutečnosti se to redukuje na případ „řešení“ přeurčeného systému rovnic s ohledem na : $n$ $y$ $X$ $y$ $X$ $f(x,b)$ $b$ $b$ $f(x,b)$ $y$ $b$

$f(x_{t},b)=y_{t},t=1,\ldots ,n$ .

V regresní analýze a zejména v ekonometrii se používají pravděpodobnostní modely vztahu mezi proměnnými.

$y_{t}=f(x_{t},b)+\varepsilon _{t}$ ,

kde jsou tzv. náhodné chyby modelu. $\varepsilon _{t}$

Odchylky pozorovaných hodnot od hodnot modelu jsou tedy předpokládány již v samotném modelu. Podstatou LSM (obvyklého, klasického) je najít takové parametry, při kterých bude součet kvadrátů odchylek (chyb, u regresních modelů často nazývaných regresní rezidua ) minimální: $y$ $f(x,b)$ $b$ $e_{t}$

{\hat b}_{{OLS}}=\arg \min _{{b}}RSS(b)

kde je angličtina. Zbytkový součet čtverců [4] je definován jako: $RSS$

RSS(b)=e^{T}e=\součet _{{t=1}}^{n}e_{t}^{2}=\součet _{{t=1}}^{n}( y_{t}-f(x_{t},b))^{2}

V obecném případě lze tento problém řešit numerickými metodami optimalizace (minimalizace). V tomto případě se mluví o nelineárních nejmenších čtvercích (NLS nebo NLLS - anglicky Non-Linear Least Squares ). V mnoha případech lze získat analytické řešení. K vyřešení minimalizační úlohy je nutné najít stacionární body funkce tak, že ji derivujeme s ohledem na neznámé parametry , derivujeme rovnítko k nule a vyřešíme výslednou soustavu rovnic: $RSS(b)$ $b$

\sum _{{t=1}}^{n}(y_{t}-f(x_{t},b)){\frac {\částečné f(x_{t},b)}{\částečné b }}=0

OLS v případě lineární regrese

Nechť je regresní závislost lineární :

y_{t}=\součet _{{j=1}}^{k}b_{j}x_{{tj}}+\varepsilon =x_{t}^{T}b+\varepsilon _{t}

Nechť y je sloupcový vektor pozorování vysvětlované proměnné a matice pozorování faktorů (řádky matice jsou vektory hodnot faktorů v daném pozorování, podél sloupců jsou vektory hodnot daného faktoru ve všech pozorováních). Maticová reprezentace lineárního modelu má tvar: $X$ $({n\krát k})$

y=Xb+\varepsilon

Potom bude vektor odhadů vysvětlované proměnné a vektor regresních reziduí roven

{\hat y}=Xb,\quad e=y-{\hat {y}}=y-Xb

podle toho bude součet druhých mocnin regresních reziduí roven

RSS=e^{T}e=(y-Xb)^{T}(y-Xb)

Derivováním této funkce vzhledem k vektoru parametru a přirovnáním derivací k nule získáme soustavu rovnic (v maticovém tvaru): $b$

(X^{T}X)b=X^{T}y

V dešifrované maticové formě vypadá tento systém rovnic takto:

${\begin{pmatrix}\součet x_{{t1}}^{2}&\součet x_{{t1}}x_{{t2}}&\součet x_{{t1}}x_{{t3}}&\ ldots &\součet x_{{t1}}x_{{tk}}\\\součet x_{{t2}}x_{{t1}}&\součet x_{{t2}}^{2}&\součet x_{ {t2}}x_{{t3}}&\ldots &\součet x_{{t2}}x_{{tk}}\\\součet x_{{t3}}x_{{t1}}&\součet x_{{ t3}}x_{{t2}}&\součet x_{{t3}}^{2}&\ldots &\součet x_{{t3}}x_{{tk}}\\\vdots &\vdots &\vdots &\dtečky &\vtečky \\\součet x_{{tk}}x_{{t1}}&\součet x_{{tk}}x_{{t2}}&\součet x_{{tk}}x_{{t3 }}&\ldots &\sum x_{{tk}}^{2}\\\end{pmatrix}}{\begin{pmatrix}b_{1}\\b_{2}\\b_{3}\\ \vdots \\b_{k}\\\end{pmatrix}}={\begin{pmatrix}\součet x_{{t1}}y_{{t}}\\\součet x_{{t2}}y_{{ t}}\\\součet x_{{t3}}y_{{t}}\\\vdots \\\součet x_{{tk}}y_{{t}}\\\end{pmatrix}},$ kde všechny součty přebírají všechny přípustné hodnoty . $t$

Pokud je v modelu zahrnuta konstanta (jako obvykle), pak pro všechny je tedy v levém horním rohu matice soustavy rovnic počet pozorování a ve zbývajících prvcích prvního řádku a prvního sloupce - pouze součet hodnot proměnných: a první prvek pravé strany systému je . $x_{{t1}}=1$ $t$ $n$ $\sum x_{{tj}}$ $\součet y_{{t}}$

Řešení tohoto systému rovnic dává obecný vzorec pro odhady nejmenších čtverců pro lineární model:

{\hat {b}}_{{OLS}}=(X^{T}X)^{{-1}}X^{T}y=\left({\frac {1}{n}}X ^{T}X\right)^{{-1}}{\frac {1}{n}}X^{T}y=V_{x}^{{-1}}C_{{xy}}

Pro analytické účely se ukazuje jako užitečné poslední znázornění tohoto vzorce (v soustavě rovnic se při dělení n místo součtů objevují aritmetické průměry). Pokud jsou data vycentrována v regresním modelu , pak v této reprezentaci má první matice význam výběrové kovarianční matice faktorů a druhá je vektor kovariance faktoru se závislou proměnnou. Pokud jsou navíc data také normalizována na RMS (tedy případně standardizována ), pak má první matice význam výběrová korelační matice faktorů, druhý vektor - vektory výběrových korelací faktorů se závisle proměnnou.

Důležitou vlastností odhadů LLS pro modely s konstantou je, že přímka sestrojené regrese prochází těžištěm vzorových dat, to znamená, že je splněna rovnost:

{\bar {y}}={\hat {b_{1}}}+\součet _{{j=2}}^{{k}}{\hat {b}}_{j}{\bar { x}}_{j}

Zejména v extrémním případě, kdy jediným regresorem je konstanta, zjistíme, že odhad OLS jednoho parametru (samotná konstanta) se rovná střední hodnotě vysvětlované proměnné. To znamená, že aritmetický průměr, známý pro své dobré vlastnosti ze zákonů velkých čísel, je také odhadem nejmenších čtverců - splňuje kritérium pro minimální součet čtverců odchylek od něj.

Nejjednodušší speciální případy

V případě párové lineární regrese , kdy se odhaduje lineární závislost jedné proměnné na druhé, jsou výpočetní vzorce zjednodušeny (obejdete se bez maticové algebry). Soustava rovnic má tvar: $y_{t}=a+bx_{t}+\varepsilon _{t}$

{\begin{pmatrix}n&\součet _{t=1}^{n}x_{t}\\\součet _{t=1}^{n}x_{t}&\součet _{t =1}^{n}x_{t}^{2}\\\end{pmatrix}}{\begin{pmatrix}a\\b\\\end{pmatrix}}={\begin{pmatrix}\sum _{t=1}^{n}y_{t}\\\součet _{t=1}^{n}x_{t}y_{t}\\\end{pmatrix}}

Odtud je snadné najít odhady koeficientů:

{\begin{cases}{\hat {b}}={\frac {n\sum _{t=1}^{n}x_{t}y_{t}-\left(\sum _{ t=1}^{n}x_{t}\vpravo)\vlevo(\součet _{t=1}^{n}y_{t}\vpravo)}{n\součet _{t=1}^{ n}x_{t}^{2}-\left(\sum _{t=1}^{n}x_{t}\right)^{2}}},\\{\hat {a}}= {\frac {\sum _{t=1}^{n}y_{t}-{\hat {b))\součet _{t=1}^{n}x_{t}}{n}}. \end{cases}}

Ačkoli jsou obecně preferovány konstantní modely, v některých případech je z teoretických úvah známo, že konstanta by měla být nulová. Například ve fyzice má vztah mezi napětím a proudem tvar ; měření napětí a proudu je nutné odhadnout odpor. V tomto případě mluvíme o modelu . V tomto případě máme místo soustavy rovnic jedinou rovnici $A$ $U=I\cdot R$ $y=bx$

$\left(\sum x_{t}^{2}\right)b=\součet x_{t}y_{t}$ .

Vzorec pro odhad jednoho koeficientu má tedy tvar

${\hat {b))={\frac {\sum _{t=1}^{n}x_{t}y_{t)){\součet _{t=1}^{n}x_ {t}^{2}}}$ .

Případ polynomiálního modelu

Pokud jsou data aproximována polynomiální regresní funkcí jedné proměnné , pak je možné pomocí vnímání stupňů jako nezávislých faktorů pro každou z nich odhadnout parametry modelu na základě obecného vzorce pro odhad parametrů lineárního modelu. K tomu v obecném vzorci stačí vzít v úvahu, že při takovém výkladu a . Proto maticové rovnice v tomto případě budou mít tvar: ${\displaystyle f(x)=b_{0}+\sum \limits _{i=1}^{k}b_{i}x^{i))$ $x^i$ $i$ ${\displaystyle x_{ti}x_{tj}=x_{t}^{i}x_{t}^{j}=x_{t}^{i+j))$ ${\displaystyle x_{tj}y_{t}=x_{t}^{j}y_{t))$

${\begin{pmatrix}n&\sum \limits _{n}x_{t}&\ldots &\sum \limits _{n}x_{t}^{k}\\\součet \limits _{ n}x_{t}&\součet \limits _{n}x_{t}^{2}&\ldots &\sum \limits _{n}x_{t}^{k+1}\\\vdots & \vdots &\ddots &\vdots \\\součet \limits _{n}x_{t}^{k}&\sum \limits _{n}x_{t}^{k+1}&\ldots &\ součet \limits _{n}x_{t}^{2k}\end{pmatrix}}{\begin{bmatrix}b_{0}\\b_{1}\\\vdots \\b_{k}\end{ bmatrix}}={\begin{bmatrix}\sum \limits _{n}y_{t}\\\součet \limits _{n}x_{t}y_{t}\\\vdots \\\součet \limits _{n}x_{t}^{k}y_{t}\end{bmatrix}}.$

Statistické vlastnosti odhadů OLS

Nejprve si všimneme, že pro lineární modely jsou odhady nejmenších čtverců lineárními odhady, jak vyplývá z výše uvedeného vzorce. Pro nezaujaté odhady OLS je nutné a postačující splnit nejdůležitější podmínku regresní analýzy : matematické očekávání náhodné chyby , podmíněné faktory, musí být rovno nule. Tato podmínka je splněna zejména tehdy, jestliže

matematické očekávání náhodných chyb je nulové a
faktory a náhodné chyby jsou nezávislé náhodné proměnné .

První podmínku pro modely s konstantou lze považovat za vždy splněnou, protože konstanta přebírá nenulové matematické očekávání chyb (proto jsou obecně preferovány modely s konstantou).

Druhá podmínka – podmínka exogenních faktorů – je zásadní. Pokud tato vlastnost není splněna, pak můžeme předpokládat, že téměř jakékoli odhady budou extrémně neuspokojivé: nebudou ani konzistentní (to znamená, že ani velmi velké množství dat v tomto případě neumožňuje získat kvalitativní odhady). V klasickém případě se silněji předpokládá determinismus faktorů, na rozdíl od náhodné chyby, která automaticky znamená, že exogenní podmínka je splněna. V obecném případě pro konzistenci odhadů stačí splnit podmínku exogenity spolu s konvergencí matice k nějaké nesingulární matici s nárůstem velikosti vzorku do nekonečna. $V_{x}$

Aby byly kromě konzistence a nestrannosti efektivní i odhady (obvyklých) nejmenších čtverců (nejlepší ve třídě lineárních nezkreslených odhadů), musí být splněny další vlastnosti náhodné chyby:

Konstantní (stejný) rozptyl náhodných chyb ve všech pozorováních (bez heteroskedasticity ): . $V(\varepsilon _{t})=\sigma ^{2}=konst$

Absence korelace ( autokorelace ) náhodných chyb v různých pozorováních mezi sebou . $cov(\varepsilon _{i},\varepsilon _{j})=0\quad \forall 1\leq i<j\leq n$

Tyto předpoklady mohou být formulovány pro kovarianční matici vektoru náhodných chyb . $V(\varepsilon )=\sigma ^{2}I$

Lineární model, který takové podmínky splňuje, se nazývá klasický . LLS odhady pro klasickou lineární regresi jsou nezkreslené , konzistentní a nejúčinnější odhady ve třídě všech lineárních nestranných odhadů ). Jak je snadné ukázat, kovarianční matice vektoru odhadů koeficientů se bude rovnat:

$V({\hat {b}}_{{OLS}})=\sigma ^{2}(X^{T}X)^{{-1}}$ .

Účinnost znamená, že tato kovarianční matice je „minimální“ (jakákoli lineární kombinace odhadů koeficientů a zejména samotné odhady koeficientů mají minimální rozptyl), to znamená, že ve třídě lineárních nezkreslených odhadů jsou nejlepší odhady OLS. . Diagonální prvky této matice, rozptyly odhadů koeficientů, jsou důležitými parametry pro kvalitu získaných odhadů. Není však možné vypočítat kovarianční matici, protože rozptyl náhodné chyby není znám. Lze dokázat, že nestranný a konzistentní (pro klasický lineární model) odhad rozptylu náhodných chyb je hodnota:

$s^{2}=RSS/(nk)$ .

Dosazením této hodnoty do vzorce pro kovarianční matici získáme odhad kovarianční matice. Výsledné odhady jsou rovněž nezaujaté a konzistentní . Důležité také je, že odhad rozptylu chyb (a potažmo rozptylů koeficientů) a odhady parametrů modelu jsou nezávislé náhodné veličiny, což umožňuje získat testovací statistiku pro testování hypotéz o modelových koeficientech.

Je třeba poznamenat, že pokud nejsou splněny klasické předpoklady, odhady parametrů nejmenších čtverců nejsou nejúčinnějšími odhady (zůstávají nezaujaté a konzistentní ). Odhad kovarianční matice se však ještě více zhoršuje: stává se neobjektivní a nekonzistentní . To znamená, že statistické závěry o kvalitě zkonstruovaného modelu mohou být v tomto případě krajně nespolehlivé. Jedním ze způsobů, jak tento problém vyřešit, je použití speciálních odhadů kovarianční matice, které jsou konzistentní při porušení klasických předpokladů ( standardní chyby ve formě White a standardní chyby ve formě Newey-West ). Dalším přístupem je použití tzv. zobecněných nejmenších čtverců .

Zobecněné nejmenší čtverce

Metoda nejmenších čtverců umožňuje široké zobecnění. Místo minimalizace součtu čtverců reziduí lze minimalizovat nějakou pozitivně-definitivní kvadratický tvar reziduálního vektoru , kde je nějaká symetrická pozitivně-definitivní matice váhy. Obyčejné nejmenší čtverce jsou speciálním případem tohoto přístupu, kdy je matice váhy úměrná matici identity. Jak známo, existuje rozklad pro symetrické matice (nebo operátory) . Zadaný funkcionál tedy může být reprezentován následovně: , to znamená, že tento funkcionál může být reprezentován jako součet druhých mocnin některých transformovaných "zbytků". Můžeme tedy rozlišit třídu metod nejmenších čtverců - LS-metody (Least Squares). $e^{T}My$ $W$ $W=P^{T}P$ $e^{T}P^{T}Pe=(Pe)^{T}Pe=e_{*}^{T}e_{*}$

Bylo prokázáno (Aitkenův teorém), že pro zobecněný lineární regresní model (ve kterém nejsou kladena žádná omezení na kovarianční matici náhodných chyb) jsou nejúčinnější (ve třídě lineárních nestranných odhadů) odhady tzv. . zobecněné nejmenší čtverce (GLS, GLS - Generalized Least Squares) - LS-metoda s váhovou maticí rovnou inverzní kovarianční matici náhodných chyb: . $W=V_{{\varepsilon }}^{{-1}}$

Lze ukázat, že vzorec pro GLS-odhady parametrů lineárního modelu má tvar

${\hat {b}}_{{GLS}}=(X^{T}V^{{-1}}X)^{{-1}}X^{T}V^{{-1}} y$ .

Kovarianční matice těchto odhadů se bude rovnat

$V({\hat {b}}_{{GLS}})=(X^{T}V^{{-1}}X)^{{-1}}$ .

Ve skutečnosti podstata OLS spočívá v určité (lineární) transformaci (P) původních dat a aplikaci obvyklých nejmenších čtverců na transformovaná data. Účelem této transformace je, že u transformovaných dat náhodné chyby již splňují klasické předpoklady.

Vážený OLS

V případě diagonální váhové matice (a potažmo kovarianční matice náhodných chyb) máme tzv. vážené nejmenší čtverce. V tomto případě je vážený součet čtverců reziduí modelu minimalizován, to znamená, že každé pozorování obdrží "váhu", která je nepřímo úměrná rozptylu náhodné chyby v tomto pozorování: . Ve skutečnosti jsou data transformována vážením pozorování (dělením částkou úměrnou předpokládané směrodatné odchylce náhodných chyb) a na vážená data jsou aplikovány normální nejmenší čtverce. $e^{T}We=\sum _{{t=1}}^{n}{\frac {e_{t}^{2}}{\sigma _{t}^{2}}}$

Viz také

Poznámky

↑ Legendre, Na nejmenších čtvercích. Přeložil z francouzštiny profesor Henry A. Ruger a profesorka Helen M. Walker, Teachers College, Columbia University, New York City. Archivováno 7. ledna 2011 na Wayback Machine
↑ Aleksandrová, 2008 , str. 102.
↑ Linnik, 1962 , str. 21.
↑ Magnus, Katyshev, Peresetsky, 2007 , označení RSS není sjednoceno. RSS může být zkratka pro regresní součet čtverců a ESS může být zkratka pro chybový součet čtverců, takže RSS a ESS budou mít opačný význam. S. 52. Vydání z roku 2004..

Literatura

Yu V. Linnik Metoda nejmenších čtverců a základy matematicko-statistické teorie zpracování pozorování. - 2. vyd. - M. , 1962.(matematická teorie)
Ayvazyan S.A. Aplikovaná statistika. Základy ekonometrie. Svazek 2. - M . : Unity-Dana, 2001. - 432 s. - ISBN 5-238-00305-6 .
Dougherty K. Úvod do ekonometrie: Per. z angličtiny. - M. : INFRA-M, 1999. - 402 s. — ISBN 8-86225-458-7 .
Kremer N. Sh., Putko B. A. Econometrics. - M .: Unity-Dana, 2003-2004. — 311 s. — ISBN 8-86225-458-7 .
Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Econometrics. Počáteční kurz. - M. : Delo, 2007. - 504 s. - ISBN 978-5-7749-0473-0 .
Ekonometrie. Učebnice / Ed. Eliseeva I. I. - 2. vyd. - M. : Finance a statistika, 2006. - 576 s. — ISBN 5-279-02786-3 .
Aleksandrova N. V. Historie matematických termínů, konceptů, označení: referenční slovník. - 3. vyd. - M. : LKI, 2008. - 248 s. - ISBN 978-5-382-00839-4 .
Vitkovsky V.V. Nejmenší čtverce // Encyklopedický slovník Brockhause a Efrona : v 86 svazcích (82 svazcích a 4 dodatečné). - Petrohrad. , 1890-1907.
Mitin IV, Rusakov VS Analýza a zpracování experimentálních dat. — 5. vydání. — 24 s.

Odkazy

Online metoda nejmenších čtverců pro závislost y = a + bx s výpočtem chyb koeficientů a autokorelačním odhadem.

Slovníky a encyklopedie	Velká dánština velká čínština Skvělý norský Velký Rus Brockhaus a Efron Nový
V bibliografických katalozích	NDL : 00570033 NKC : ph135404

Nejmenší čtverce a regresní analýza

Výpočetní statistika

Metoda nejmenších čtverců
Lineární MNC
Nelineární nejmenší čtverce
LSM s iterativním přepočtem vah

Korelace
a závislost

Pearsonův korelační koeficient
Korelace pořadí ( Spearman
Kendall )
Částečná korelace
Zkreslující faktor

Regresní analýza

Normální MNC
Metoda částečných nejmenších čtverců
Nejmenší plné čtverce
Ridge regrese

Regrese jako
statistický
model

Lineární regrese	Jednoduchá lineární regrese Normální MNC Zobecněné nejmenší čtverce Vážené nejmenší čtverce Základní lineární model
prediktivní struktura	Polynomiální regrese růstová křivka Segmentovaná regrese Lokální regrese
Vlastní regrese	nelineární Neparametrické semiparametrické udržitelného kvantil izotonický
Nestandardní chyby	Zobecněný lineární model Binomická regrese Poissonova regrese Logistická regrese

Rozklad rozptylu

Analýza rozptylu
Kovarianční analýza
Vícerozměrná analýza rozptylu

Modelová studie

C p Sléz
Postupná regrese
Výběr statistického modelu
Validace regresního modelu

Předpoklady

Průměrná a očekávaná odezva
Gauss-Markovova věta
Chyby a odchylky
Statistický test
Studentská rovnováha
Minimální střední kvadratická chyba

Plánování
experimentů

Metodika povrchu odezvy
Optimální design experimentu
Bayesovský experimentální design

Numerická
aproximace

Aplikace

Aproximace pomocí křivek
Kalibrační křivka
Savitsky-Golayův filtr
Identifikace systému
Přesouvání metodou nejmenších čtverců