Nejmenší plné čtverce

V aplikované statistice je metoda nejmenších čtverců (TLS, TLS - anglicky Total Least Squares ) typem regrese s chybami v proměnných , technika modelování dat využívající metodu nejmenších čtverců , která bere v úvahu chyby v obou závislých a v nezávislých proměnných. Metoda je zobecněním Demingovy regrese a ortogonální regrese a lze ji aplikovat na lineární i nelineární modely.

Aproximace dat metodou nejmenších plných čtverců je obecně ekvivalentní nejlepší aproximaci datové matice podle normy Frobenius [1] .

Lineární model

Základy

Při modelování dat metodou nejmenších čtverců je ztrátová funkce S minimalizována ,

S=\mathbf {r^{T}Wr} ,

kde r je vektor odchylky a W je hmotnostní matice. V lineární metodě nejmenších čtverců model obsahuje rovnice, které jsou lineární v parametrech ve vektoru , takže odchylky se počítají podle vzorce ${\boldsymbol {\beta ))$

\mathbf {r=yX{\boldsymbol {\beta }}} .

Existuje m pozorování v parametrech vektoru y a n v β pro m > n . X je matice m × n , jejíž prvky jsou buď konstanty nebo funkce nezávislých proměnných x . Hmotnostní matice W je v ideálním případě inverzí k pozorovací matici rozptylu a kovariance y . Předpokládá se, že nezávislé proměnné nemají chyby. Parametry odhadu se zjistí nastavením gradientu na nulu, což vede k rovnici [poznámka 1] ${\displaystyle \mathbf {M} _{y))$

\mathbf {X^{T}WX{\boldsymbol {\beta }}=X^{T}Wy}

Možnost pozorovacích chyb pro všechny proměnné

Předpokládejme nyní, že jak x , tak y jsou pozorovány s chybami s maticemi variance-kovariance , resp. V tomto případě je ztrátová funkce zapsána jako ${\displaystyle \mathbf {M} _{x))$ ${\displaystyle \mathbf {M} _{y))$

S=\mathbf {r_{x}^{T}M_{x}^{-1}r_{x}+r_{y}^{T}M_{y}^{-1}r_{y }}

kde a jsou odchylky pro x a y . Je jasné, že tyto odchylky nemohou být nezávislé a musí mezi nimi být nějaká souvislost. Pokud funkci zapíšeme jako , jsou omezení vyjádřena m podmínkami [2] . $\mathbf {r} _{x}$ ${\displaystyle \mathbf {r} _{y))$ $\mathbf {f(r_{x},r_{y},{\boldsymbol {\beta )))}$

\mathbf {F=\Delta y-{\frac {\partial f}{\partial r_{x))}r_{x}-{\frac {\partial f}{\partial r_{y)) }r_{y}-X\Delta {\boldsymbol {\beta }}=0}

Problém je tedy redukován na minimalizaci ztrátové funkce za m omezení. Problém je vyřešen pomocí Lagrangeových multiplikátorů . Po některých algebraických transformacích [3] dostáváme

\mathbf {X^{T}M^{-1}X\Delta {\boldsymbol {\beta }}=X^{T}M^{-1}\Delta y} ,

nebo alternativně, $\mathbf {X^{T}M^{-1}X{\boldsymbol {\beta }}=X^{T}M^{-1}y}$

Zde M je matice rozptylu-kovariance vztahující se k nezávislým i závislým proměnným.

\mathbf {M=K_{x}M_{x}K_{x}^{T}+K_{y}M_{y}K_{y}^{T};\ K_{x}=-{ \frac {\částečné f}{\částečné r_{x}}},\ K_{y}=-{\frac {\částečné f}{\částečné r_{y))))

Příklad

V případě, že chyby dat nejsou korelovány, jsou všechny matice M a W diagonální. Pak použijeme konstrukci přímky po bodech.

f(x_{i},\beta )=\alpha +\beta x_{i}\!

A v tomto případě

M_{ii}=\sigma _{y,i}^{2}+\beta ^{2}\sigma _{x,i}^{2}

který ukazuje, jak je rozptyl v i -tém bodě určen rozptylem nezávislých a závislých proměnných, stejně jako model použitý ke sladění dat. Výraz lze zobecnit poznámkou, že parametrem je sklon čáry. $\beta$

M_{ii}=\sigma _{y,i}^{2}+\left({\frac {dy}{dx))\right)_{i}^{2}\sigma _{x ,i}^{2}

Výraz tohoto druhu se používá k aproximaci pH titračních dat , když malé chyby v x dávají velké chyby v y v případě velkého sklonu.

Z algebraického hlediska

Nejprve je třeba poznamenat, že problém MRPK v obecném případě nemá řešení, což se ukázalo již v roce 1980 [4] . Zvažte jednoduchý případ, kdy existuje jedinečné řešení bez jakýchkoli předpokladů.

Výpočet MNPC pomocí singulárního rozkladu hodnot je popsán ve standardních textech [5] . Můžeme vyřešit rovnici

XB\cca Y

s ohledem na B , kde X je matice m -by- n a Y je matice m -by- k [poznámka 2]

To znamená, že se snažíme najít matici B , která minimalizuje chybové matice R a F pro X a Y , v daném pořadí. To znamená

\mathrm {argmin} _{R,F}\|[R\;F]\|_{F},\qquad (X+R)B=Y+F

kde je rozšířená matice s R a F vedle sebe a je normou matice , druhá odmocnina součtu druhých mocnin všech prvků matice, která je ekvivalentní druhé odmocnině součtu druhých mocnin délek řádků nebo sloupců matice. $[R\;F]$ ${\displaystyle \|\cdot \|_{F))$

To lze přepsat jako

[(X+R)\;(Y+F)]{\begin{bmatrix}B\\-E_{k}\end{bmatrix}}=0.

Kde je matice identity. Cílem je najít matici , která redukuje hodnost o k . Definujte jako singulární rozklad rozšířené matice . $E_k$ $k\times k$ $[R\;F]$ $[X\;Y]$ $[U][\Sigma ][V]*$ $[X\;Y]$

[X\;Y]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix)) {\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}=[U_{X}\;U_{Y}]{\začátek {bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}^{*}&V_{YX}^{*}\\V_ {XY}^{*}&V_{YY}^{*}\end{bmatrix}}

kde V je rozděleno na bloky odpovídající tvarům matic X a Y .

Pomocí Eckart-Yangovy věty je aproximace minimalizující chybovost taková aproximace, že se matice a matice nemění, zatímco nejmenší singulární hodnoty jsou nahrazeny nulami. To znamená, že chceme $U$ $PROTI$ $k$

[(X+R)\;(Y+F)]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&0_{k\times k}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}

takže díky linearitě

[R\;F]=-[U_{X}\;U_{Y}]{\begin{bmatrix}0_{n\times n}&0\\0&\Sigma _{Y}\end{bmatrix }}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}.

Bloky z matic U a Σ můžeme odstranit zjednodušením výrazu na

[R\;F]=-U_{Y}\Sigma _{Y}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^{*}=-[ X\;Y]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^ {*}.

To dává R a F , takže

[(X+R)\;(Y+F)]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}=0.

Nyní, ne- li degenerovat, což není vždy pravda (všimněte si, že chování PBMC v případě degenerace není zcela jasné), můžeme rovnou vynásobit obě strany tím , že přivedeme spodní blok pravé matice k negativní identitě. matice, která dává [6] $V_{YY}$ $V_{YY}$ ${\displaystyle -V_{YY}^{-1))$

[(X+R)\;(Y+F)]{\begin{bmatrix}-V_{XY}V_{YY}^{-1}\\-V_{YY}V_{YY}^{ -1}\end{bmatrix}}=[(X+R)\;(Y+F)]{\begin{bmatrix}B\\-E_{k}\end{bmatrix}}=0,

a pak

B=-V_{XY}V_{YY}^{-1}.

Implementace v systému GNU Octave :

funkce B = tls ( X,Y ) [ m n ] = velikost ( X ); % n je šířka matice X (X[mxn]) Z = [ XY ] ; %Z je rozšíření X o Y. [ USV ] = svd ( Z , 0 ) ; _ % najdeme [[Singulární rozklad|SVD]] matice Z. VXY = V ( 1 : n , 1 + n : konec ); % Vezmeme blok matice V, skládající se z prvních n řádků a n + 1 posledních sloupců VYY = V ( 1 + n : konec , 1 + n : konec ); % Vezměte pravý dolní blok matice V. B = - VXY / VYY ; konec

Metodu řešení výše popsaného problému, která vyžaduje, aby matice nebyla degenerovaná, lze mírně rozšířit o tzv. klasický PBM algoritmus [7] . $V_{YY}$

Výpočet

Standardní implementace klasického algoritmu PBMC je dostupná na Netlib , viz také články [8] [9] . Všechny moderní implementace, založené například na použití obyčejné metody nejmenších čtverců, aproximují matici (která je v literatuře označována jako ), jak to dělají Van Houffel a Vandewalle. Za zmínku však stojí, že výsledná matice v mnoha případech není řešením PBMC [10] . $B$ $X$ $B$

Nelineární model

Pro nelineární systémy podobné úvahy ukazují, že normální rovnici pro iterační cyklus lze přepsat jako

\mathbf {J^{T}M^{-1}J\Delta {\boldsymbol {\beta }}=J^{T}M^{-1}\Delta y} .

Geometrická interpretace

Pokud nezávislé proměnné nemají žádné chyby, představují odchylky "vertikální" vzdálenost mezi datovým bodem a prokládací křivkou (nebo povrchem). V nejmenších celých čtvercích představují odchylky vzdálenost mezi datovým bodem a prokládací křivkou, měřenou v určitém směru. Ve skutečnosti, pokud jsou obě proměnné měřeny ve stejných jednotkách a chyby obou proměnných jsou stejné, pak odchylka představuje nejkratší vzdálenost od datového bodu k proložení křivky , tj. vektor odchylky je kolmý na tečnu ke křivce. . Z tohoto důvodu se tento typ regrese někdy nazývá bivariační euklidovská regrese [11] nebo ortogonální regrese .

Měřítko-invariantní metody

Vážný problém nastává, pokud se proměnné neměří ve stejných jednotkách. Podívejme se nejprve na měření vzdálenosti mezi datovými body a křivkou – jaká by byla jednotka pro vzdálenost? Pokud budeme měřit vzdálenost na základě Pythagorovy věty, je jasné, že budeme muset sčítat jednotky měřené v různých jednotkách, což vede k nesmyslným výsledkům. Pokud změníme měřítko jedné z proměnných, například měříme v gramech než v kilogramech, dostaneme jiné výsledky (jiná křivka). Aby se předešlo tomuto problému nesouměřitelnosti, je někdy navrhováno jejich převedení na bezrozměrné veličiny – to lze nazvat normalizací nebo standardizací. Existují však různé způsoby, jak toho dosáhnout, což vede k neekvivalentním modelům. Jedním přístupem je normalizace se známou (nebo odhadovanou) přesností měření, čímž se minimalizuje Mahalanobisova vzdálenost k bodům na čáře a poskytuje řešení s maximální pravděpodobností . Neznámé přesnosti měření lze zjistit pomocí analýzy rozptylu .

Stručně řečeno, metoda nejmenších plných čtverců nemá vlastnost invariance s ohledem na jednotky měření, tj. není to měřítko invariantní . Pro užitečnost modelu požadujeme, aby tato vlastnost byla splněna. Dalším pokrokem je pochopení, že odchylky (vzdálenosti) naměřené v jiných jednotkách lze kombinovat, pokud se místo sčítání použije násobení. Zvažte aproximaci přímky, pro každý datový bod se součin horizontálních a vertikálních odchylek rovná dvojnásobku plochy trojúhelníku tvořeného segmenty odchylky a lícující přímkou. Volíme přímku, která minimalizuje součet těchto ploch. Nositel Nobelovy ceny Paul Samuelson v roce 1942 dokázal, že ve dvourozměrném případě je tato přímka vyjádřena pouze poměry směrodatných odchylek a korelací koeficientů, které (1) splňují rovnici, pokud jsou pozorování na přímce; (2) ukázat invarianci škály, (3) ukázat invarianci ve výměně proměnných [12] . Tato přímka byla znovu objevena v různých oborech a je známá jako standardizovaná hlavní osa [13] [14] , redukovaná hlavní osa, funkční geometrické průměry [15] , regrese nejmenších čtverců, diagonální regrese a přímka nejmenších oblastí. Tofallis [16] rozšířil tento přístup na práci s více proměnnými.

Viz také

Poznámky

↑ Alternativní tvar - , kde je posun parametru od počátečního odhadu a je rozdíl mezi y a hodnotou vypočítanou z počátečního odhadu $\mathbf {X^{T}WX{\boldsymbol {\Delta }}{\boldsymbol {\beta }}=X^{T}W{\boldsymbol {\Delta }}y}$ ${\boldsymbol {\Delta }}{\boldsymbol {\beta }}$ ${\boldsymbol {\beta ))$ ${\boldsymbol {\Delta ))\mathbf {y}$ ${\boldsymbol {\beta ))$
↑ Výraz XB ≈ Y se zde používá k vyjádření dřívějších výrazů. V literatuře se častěji používá výraz AX ≈ B , tzn. s písmenem X reprezentujícím matici n - x - k neznámých regresních koeficientů.

↑ Markovsky a Van Huffel, 2007 , s. 2283-2302, 2007.
↑ Deming, 1943 .
↑ Gans, 1992 .
↑ Golub, Van Loan, 1980 , s. 883–893.
↑ Golub, Van Loan, 1996 , s. 596.
↑ Bjõrck, 1996 .
↑ Van Huffel, Vandewalle, 1991 .
↑ Van Huffel, 1988 .
↑ Van Huffel, 1989 , s. 111–119.
↑ Plesinger, 2008 , s. 748–770.
↑ Stein .
↑ Samuelson, 1942 , s. 80–83.
↑ Ricker, 1975 , str. 1494–1498
↑ Warton, Wright, Falster, Westoby, 2006 , str. 259–291.
↑ Draper, Smith, 1998 , s. 92–96.
↑ Tofallis, 2002 .

Literatura

Van Huffel S., Vandewalle J. Problémy celkových nejmenších čtverců: Výpočtové aspekty a analýza. - Philadelphia PA: SIAM Publications, 1991. - V. 9. - (Hranice v aplikované matematice). — ISBN 0-89871-271-0 .
Golub GH, Van Loan CF Analýza celkového problému nejmenších čtverců // SIAM J. on Numer. Anal.. - 1980. - T. 17 . - S. 883-893 .

Gene H. Golub, Charles F. Van Loan. Maticové výpočty. — 3. — The Johns Hopkins University Press , 1996.
Ake Bjõrck. Numerické metody pro úlohy nejmenších čtverců. - SIAM (Society for Industrial and Applied Mathematics), 1996. - ISBN 978-0898713602 .
Van Huffel S. Documented Fortran 77 programy rozšířeného klasického úplného algoritmu nejmenších čtverců, algoritmu částečného rozkladu singulárních hodnot a algoritmu částečných úplných nejmenších čtverců, Interní zpráva ESAT-KUL 88/1 ESAT Lab., Dept. elektrotechniky,. — Katholieke Universiteit Leuven, 1988.
Van Huffel S. Rozšířený klasický algoritmus nejmenších čtverců // J. Compput. Appl. Matematika.,. - 1989. - S. 111-119 ,.
Plesinger M. Problém celkových nejmenších čtverců a redukce dat v AX ≈ B. Dizertační práce . - TU v Liberci a Ústav výpočetní techniky AV ČR Praha, 2008. - (Ph.D. Diplomová práce). Archivováno 24. července 2012 na Wayback Machine
Hnětynková I., Plešinger M., Sima DM, Strakoš Z., Van Huffel S. [1] . - Úplný problém nejmenších čtverců v AX ≈ B. Nová klasifikace ve vztahu ke klasickým pracím.: SIMAX, 2011. - V. 32. - S. 748-770.
Yaakov J. Stein. Dvourozměrná euklidovská regrese .
Paul A. Samuelson. Poznámka k alternativním regresím // Econometrica. - The Econometric Society, 1942. - V. 10 , no. 1 . - S. 80-83 . - doi : 10.2307/1907024 . — .
Ricker WE Poznámka týkající se komentářů profesora Jolicoeura // Journal of the Fisheries Research Board of Canada. - 1975. - T. 32 . - S. 1494-1498 . - doi : 10.1139/f75-172 .
David I. Warton, Ian J. Wright, Daniel S. Falster, Mark Westoby. Dvourozměrné metody pro alometrii // Biologické přehledy. - Wiley, 2006. - T. 81 , no. 2 . - S. 259-291 . - doi : 10.1017/S1464793106007007 .
Draper NR, Smith H. Aplikovaná regresní analýza. — 3. vydání. - 1998. - S. 92-96. - (Wileyova řada v pravděpodobnosti a statistice). — ISBN 0-471-17982-8 .
Chris Tofallis. Přizpůsobení modelu pro více proměnných pomocí minimalizace geometrické střední odchylky // Modelování celkových nejmenších čtverců a chyb v proměnných: analýza, algoritmy a aplikace / Sabine Van Huffel, P. Lemmerling. - Dordrecht [ua]: Kluwer Academic Publ., 2002. - ISBN 978-1402004766 .
Markovsky I., Van Huffel S. Přehled celkových metod nejmenších čtverců // Signal Processing. - 2007. - T. 87 .
W.E. Deming. Statistická úprava dat. — New York: John Wiley & Sons, 1943.
Peter Gans. Data Fitting v chemických vědách . - Wiley, 1992. - ISBN 9780471934127 .

Další čtení

Paige CC, Strakoš Z.,. Základní úlohy v lineárních algebraických systémech // SIAM J. Matrix Anal. Appl. - 2006. - T. 27 . - S. 861-875 .
Jo S., Kim SW Konzistentní normalizované filtrování nejmenších čtverců se zašuměnou datovou maticí. - 2005. - T. 53. - S. 2112-2123. - (IEEE Trans. Signal Processing).
DeGroat RD, Dowling EM Problém nejmenších čtverců dat a ekvalizace kanálu. - 1993. - T. 41. - S. 407-411. - (IEEE Trans. Signal Processing).
Abatzoglou T., Mendel J. Vázané celkové nejmenší čtverce. - 1987. - T. 12. - S. 1485-1488. — (Proc. IEEE Int. Conf. Acoust., Speech, Signal Process. (ICASSP'87)).
de Groen P. arxiv.org Úvod do úplných nejmenších čtverců . - 1996. - S. 237-253. — (Nieuw Archief voor Wiskunde, Vierde serie, deel 14).
Kolmá regrese přímky na MathPages
Amiri-Simkooei AR, Jazaeri S. Vážené celkové nejmenší čtverce formulované standardní teorií nejmenších čtverců // Journal of Geodetic Science. - 2012. - Svazek 2 (2) . - S. 113-124 .

Nejmenší čtverce a regresní analýza

Výpočetní statistika

Metoda nejmenších čtverců
Lineární MNC
Nelineární nejmenší čtverce
LSM s iterativním přepočtem vah

Korelace
a závislost

Pearsonův korelační koeficient
Korelace pořadí ( Spearman
Kendall )
Částečná korelace
Zkreslující faktor

Regresní analýza

Normální MNC
Metoda částečných nejmenších čtverců
Nejmenší plné čtverce
Ridge regrese

Regrese jako
statistický
model

Lineární regrese	Jednoduchá lineární regrese Normální MNC Zobecněné nejmenší čtverce Vážené nejmenší čtverce Základní lineární model
prediktivní struktura	Polynomiální regrese růstová křivka Segmentovaná regrese Lokální regrese
Vlastní regrese	nelineární Neparametrické semiparametrické udržitelného kvantil izotonický
Nestandardní chyby	Zobecněný lineární model Binomická regrese Poissonova regrese Logistická regrese

Rozklad rozptylu

Analýza rozptylu
Kovarianční analýza
Vícerozměrná analýza rozptylu

Modelová studie

C p Sléz
Postupná regrese
Výběr statistického modelu
Validace regresního modelu

Předpoklady

Průměrná a očekávaná odezva
Gauss-Markovova věta
Chyby a odchylky
Statistický test
Studentská rovnováha
Minimální střední kvadratická chyba

Plánování
experimentů

Metodika povrchu odezvy
Optimální design experimentu
Bayesovský experimentální design

Numerická
aproximace

Aplikace

Aproximace pomocí křivek
Kalibrační křivka
Savitsky-Golayův filtr
Identifikace systému
Přesouvání metodou nejmenších čtverců