Lineární regrese

Lineární regrese je regresní model používaný ve statistice pro závislost jedné (vysvětlené, závislé) proměnné na jiné nebo několika dalších proměnných (faktory, regresory, nezávislé proměnné) s lineární funkcí závislosti. $y$ $X$

Model lineární regrese je nejběžněji používaný a nejvíce studovaný v ekonometrii . Konkrétně jsou studovány vlastnosti odhadů parametrů získaných různými metodami za předpokladu pravděpodobnostních charakteristik faktorů a náhodných chyb modelu. Limitní (asymptotické) vlastnosti odhadů nelineárních modelů jsou také odvozeny na základě aproximace nelineárních modelů lineárními modely. Z ekonometrického hlediska je linearita v parametrech důležitější než linearita v modelových faktorech.

Definice

Regresní model

y=f(x,b)+\varepsilon ,~E(\varepsilon )

kde jsou parametry modelu, je náhodná chyba modelu; se nazývá lineární regrese, pokud má regresní funkce tvar $b$ $\varepsilon$ $f(x,b)$

f(x,b)=b_0+b_1 x_1+b_2 x_2+...+b_k x_k

kde jsou regresní parametry (koeficienty), jsou regresory (modelové faktory), k je počet modelových faktorů [1] . $b_{j}$ $x_{j}$

Lineární regresní koeficienty ukazují rychlost změny závislé proměnné pro daný faktor, přičemž ostatní faktory jsou fixní (v lineárním modelu je tato rychlost konstantní):

\forall j\quad ~b_{j}={\frac {\partial f}{\partial x_{j))}=const

Parametr , pro který neexistují žádné faktory, se často nazývá konstanta . Formálně se jedná o hodnotu funkce při nulové hodnotě všech faktorů. Pro analytické účely je vhodné uvažovat, že konstanta je parametr s "faktorem" rovným 1 (nebo jinou libovolnou konstantou, takže tento "faktor" se také nazývá konstanta). V tomto případě, pokud s ohledem na to přečíslujeme faktory a parametry původního modelu (ponecháme-li označení celkového počtu faktorů - k), pak lze lineární regresní funkci zapsat v následujícím tvaru, který formálně nemá obsahovat konstantu: $b_{0}$

f(x,b)=b_1 x_1 + b_2 x_2 + \ldots + b_k x_k=\sum^k_{j=1}b_j x_j=x^Tb

kde je vektor regresorů, je sloupcový vektor parametrů (koeficientů). $x^T=(x_1,x_2,...,x_k)$ $b=(b_1,b_2,\ldots,b_k)^T$

Lineární model může být buď s konstantou, nebo bez konstanty. Pak v této reprezentaci je první faktor buď roven jedné, nebo je to obyčejný faktor.

Párová a vícenásobná regrese

V konkrétním případě, kdy je faktor jedinečný (bez zohlednění konstanty), hovoříme o párové nebo jednoduché lineární regresi:

y_t=a+b x_t+\varepsilon_t

Když je počet faktorů (bez zohlednění konstanty) více než jeden, mluví se o vícenásobné regresi:

{\displaystyle Y=b_{0}+b_{1}x_{i1}+...+b_{j}x_{ij}+...+b_{k}x_{ik}+e_{i))

Příklady

Model organizačních nákladů (bez určení náhodné chyby)

TC=FC+VC=FC+v \cdot Q

$TC$ - celkové náklady
$FC$ - fixní náklady (nezávislé na objemu výroby)
$VC$ - variabilní náklady úměrné objemu výroby
$proti$ - specifické nebo průměrné (na jednotku produkce) variabilní náklady
$Q$ - objem výroby.

Nejjednodušší model spotřebitelských výdajů ( Keynes )

C=a+bY+\varepsilon

$C$ - spotřebitelské výdaje
$Y$ - disponibilní příjem
$b$ - mezní sklon ke spotřebě
$A$ Autonomní (nezávislá na příjmu) spotřeba.

Maticová reprezentace

Nechť je dán vzorek n pozorování proměnných y a x . Nechť t je číslo pozorování ve vzorku. Potom — hodnota proměnné y v t -tém sledování, — hodnota j - tého faktoru v t -tém sledování. V souladu s tím je vektor regresorů v t -tém pozorování. Potom v každém pozorování probíhá lineární regresní závislost: $y_{t}$ $x_{tj}$ $x^T_t=(x_{t1},x_{t2},...,x_{tk})$

y_t=b_1 x_{t1}+b_2 x_{t2}+...+b_k x_{tk}=\sum^k_{j=1}b_j x_{tj}=x^T_t b+\varepsilon_t~,~E( \varepsilon_t)=0~,~t=1..n

Představme si notaci:

y={\begin{pmatrix}y_{1}\\y_{2}\\...\\y_{n}\\\end{pmatrix))

je vektor pozorování závislé proměnné y

X={\begin{pmatrix}x_{11}&x_{12}&...&x_{1k}\\x_{21}&x_{22}&...&x_{2k}\\... \\x_{n1}&x_{n2}&...&x_{nk}\\\end{pmatrix}}

je maticí faktorů.

\varepsilon ={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\...\\\varepsilon _{n}\\\end{pmatrix}}

je vektor náhodných chyb.

Poté lze lineární regresní model reprezentovat ve formě matice:

y=Xb+\varepsilon

Klasická lineární regrese

V klasické lineární regresi se předpokládá, že spolu se standardní podmínkou jsou splněny také následující předpoklady ( Gauss-Markovovy podmínky ): $E(\varepsilon _{t})=0$

Homoscedasticita (konstantní nebo stejný rozptyl) nebo nedostatek heteroskedasticity náhodných chyb modelu: $V(\varepsilon _{t})=\sigma ^{2}=konst$
Nedostatek autokorelace náhodných chyb: $\forall i,j,~ i \not = j ~~cov(\varepsilon_i,\varepsilon_j)=0$

Tyto předpoklady v maticové reprezentaci modelu jsou formulovány jako jeden předpoklad o struktuře kovarianční matice vektoru náhodné chyby: $V(\varepsilon)=\sigma^2 I_n$

Kromě výše uvedených předpokladů se v klasickém modelu předpokládá, že faktory jsou deterministické ( nestochastické ). Kromě toho je formálně požadováno, aby matice měla plnou hodnost ( ), to znamená, že se předpokládá, že neexistuje úplná kolinearita faktorů. $X$ $k$

Když jsou splněny klasické předpoklady, obyčejná metoda nejmenších čtverců umožňuje získat dostatečně kvalitní odhady parametrů modelu, a to: jsou to nezkreslené , konzistentní a nejúčinnější odhady .

Metody hodnocení

Viz také

Regresní analýza

Poznámky

↑ Demidenko, 1981 , str. 6.

Literatura

E.Z. Demidenko. Lineární a nelineární regrese. - M. : Finance a statistika, 1981. - 302 s.
J. Seber. Lineární regresní analýza. — M .: Mir, 1980. — 456 s. — 13 700 výtisků.

Nejmenší čtverce a regresní analýza

Výpočetní statistika

Metoda nejmenších čtverců
Lineární MNC
Nelineární nejmenší čtverce
LSM s iterativním přepočtem vah

Korelace
a závislost

Pearsonův korelační koeficient
Korelace pořadí ( Spearman
Kendall )
Částečná korelace
Zkreslující faktor

Regresní analýza

Normální MNC
Metoda částečných nejmenších čtverců
Nejmenší plné čtverce
Ridge regrese

Regrese jako
statistický
model

Lineární regrese	Jednoduchá lineární regrese Normální MNC Zobecněné nejmenší čtverce Vážené nejmenší čtverce Základní lineární model
prediktivní struktura	Polynomiální regrese růstová křivka Segmentovaná regrese Lokální regrese
Vlastní regrese	nelineární Neparametrické semiparametrické udržitelného kvantil izotonický
Nestandardní chyby	Zobecněný lineární model Binomická regrese Poissonova regrese Logistická regrese

Rozklad rozptylu

Analýza rozptylu
Kovarianční analýza
Vícerozměrná analýza rozptylu

Modelová studie

C p Sléz
Postupná regrese
Výběr statistického modelu
Validace regresního modelu

Předpoklady

Průměrná a očekávaná odezva
Gauss-Markovova věta
Chyby a odchylky
Statistický test
Studentská rovnováha
Minimální střední kvadratická chyba

Plánování
experimentů

Metodika povrchu odezvy
Optimální design experimentu
Bayesovský experimentální design

Numerická
aproximace

Aplikace

Aproximace pomocí křivek
Kalibrační křivka
Savitsky-Golayův filtr
Identifikace systému
Přesouvání metodou nejmenších čtverců

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-síť Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG