Lineární diskriminační analýza

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 10. ledna 2022; ověření vyžaduje 1 úpravu .

Lineární diskriminační analýza ( LDA , angl. Linear Discriminant Analysis , LDA ), normální diskriminační analýza ( ang. Normal Discriminant Analysis , NDA) nebo analýza diskriminační funkce ( angl. Discriminant Function Analysis ) je zobecněním Fisherova lineárního diskriminantu , metody používané v statistiky , rozpoznávání vzorů a strojové učení pro hledání lineární kombinace funkcíA, které popisuje nebo odděluje dvě nebo více tříd nebo událostí. Výsledná kombinace může být použita jako lineární klasifikátor nebo častěji pro redukci rozměrů před klasifikací .

LDA úzce souvisí s analýzou rozptylu ( analyzovat odchylku =ANOVA) a regresní analýzou , které se také snaží vyjádřit jednu závisle proměnnou jako lineární kombinaci jiných znaků nebo měření [1] [2] . Analýza rozptylu však používá kvalitativní nezávislé proměnné a spojitou závislou proměnnou , zatímco diskriminační analýza má spojité nezávislé proměnné a kvalitativní závislou proměnnou ( tj. označení třídy) [3] . Logistická regrese a probitová regrese jsou podobnější LDA než analýza rozptylu, protože také vysvětlují kvalitativní proměnnou ve smyslu spojitých vysvětlujících proměnných. Tyto jiné metody jsou preferovány v aplikacích, kde není důvod předpokládat, že nezávislé proměnné jsou normálně distribuovány, což je základní předpoklad metody LDA.

LDA také úzce souvisí s hlavní analýzou komponent ( PCA) a faktorovou analýzou v tom, že hledají lineární kombinace proměnných, které nejlépe vysvětlují data [ 4] . LDA se explicitně snaží modelovat rozdíl mezi datovými třídami. Na druhé straně PCA nebere v úvahu žádné rozdíly ve třídách a faktorová analýza vytváří kombinace funkcí spíše na základě rozdílů než podobností. Diskriminační analýza se od faktorové analýzy liší také tím, že nejde o nezávislou techniku – aby fungovala, je třeba rozlišovat mezi nezávislými proměnnými a závislými proměnnými (druhé se také nazývají kriteriální proměnné).

LDA funguje, když měření nezávislých proměnných pro každé pozorování jsou spojitá. Při práci s kvalitativními nezávislými proměnnými je ekvivalentní technikou diskriminační korespondenční analýza [5] [6] .

Diskriminační analýza se používá, když jsou skupiny a priori známé (na rozdíl od shlukové analýzy ). Každý případ musí mít hodnotu v jednom nebo více měřeních kvantitativní predikce a hodnotu ve skupinovém měření [7] . Jednoduše řečeno, diskriminační funkční analýza je klasifikace, která rozděluje objekty do skupin, tříd nebo kategorií určitého typu.

Historie

Původní dichotomickou diskriminační analýzu vyvinul Sir Ronald Fisher v roce 1936 [8] . Liší se od ANOVA nebo multivariační ANOVA , které se používají k predikci jedné (ANOVA) nebo více (multivariantní ANOVA) spojitých závislých proměnných z jedné nebo více kvalitativních nezávislých proměnných. Analýza diskriminační funkce je užitečná pro určení, zda je soubor proměnných efektivní při předpovídání příslušnosti ke kategorii [9] .

LDA pro dvě třídy

Zvažte sadu pozorování (nazývaných také funkce, atributy, proměnné nebo dimenze) pro každou instanci objektu nebo události se známou třídou . Tato sada vzorků se nazývá trénovací sada . Úkolem klasifikace je pak najít dobrý prediktor pro třídu libovolného zástupce stejného rozdělení (ne nutně z trénovací množiny) pouze na základě pozorování [10] . ${\vec {x))$ $y$ $y$ $\vec x$

LDA přistupuje k problému s předpokladem, že podmíněná pravděpodobnostní rozdělení a jsou normálně rozdělena s průměrem a kovariančními parametry , resp. Za těchto předpokladů Bayesovské optimální řešení předpovídá, že bod patří do druhé třídy, pokud poměr pravděpodobnosti překročí nějakou (prahovou) hodnotu T, takže: $p({\vec {x}}|y=0)$ $p({\vec {x}}|y=1)$ $\left({\vec {\mu }}_{0},\Sigma _{0}\right)$ $\left({\vec {\mu }}_{1},\Sigma _{1}\right)$

({\vec {x}}-{\vec {\mu }}_{0})^{T}\Sigma _{0}^{-1}({\vec {x}}-{ \vec {\mu }}_{0})+\ln |\Sigma _{0}|-({\vec {x}}-{\vec {\mu }}_{1})^{T} \Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-\ln |\Sigma _{1}|\ >\ T

Bez dalších předpokladů se klasifikátor nazývá QDA .

Místo toho LDA vytváří další zjednodušující předpoklad , že je homoskedastický ( to znamená, že kovarianční třídy jsou identické, takže ) a že kovariance mají plnou hodnost. V tomto případě je vyloučeno několik členů: $\Sigma _{0}=\Sigma _{1}=\Sigma$

{\vec {x}}^{T}\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{T}\Sigma _{1} ^{-1}{\vec {x}}

{\vec {x}}^{T}{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}=({\vec {\mu }}_ {i}}^{T}{\Sigma _{i}}^{-1}{\vec {x}}

, protože je hermitovský a rozhodovací kritérium popsané výše se stává prahovou hodnotou pro skalární součin

{\displaystyle \Sigma _{i))

{\vec {w}}\cdot {\vec {x}}>c

pro nějakou prahovou konstantu c , kde

{\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})

c={\frac {1}{2}}(T-{{\vec {\mu }}_{0}}^{T}\Sigma _{0}^{-1}{{\ vec {\mu }}_{0}}+{{\vec {\mu }}_{1}}^{T}\Sigma _{1}^{-1}{{\vec {\mu }} _{jeden}})

To znamená, že kritérium pro zadání třídy je funkcí pouze této lineární kombinace známých pozorování. ${\vec {x))$ $y$

Často je užitečné vidět tento závěr z hlediska geometrie: kritériem pro vstup , který má být obsažen ve třídě , je funkce projekce bodu ve vícerozměrném prostoru na vektor (uvažujeme pouze směr vektoru). Jinými slovy, pozorování patří do , pokud se odpovídající nachází na určité straně nadroviny kolmé k . Poloha roviny je určena prahovou hodnotou c. ${\vec {x))$ $y$ ${\vec {x))$ ${\vec {w))$ $y$ ${\vec {x))$ ${\vec {w))$

Předpoklady

Předpoklady diskriminační analýzy jsou stejné jako u vícerozměrné analýzy rozptylu. Analýza je vysoce citlivá na odlehlé hodnoty a velikost nejmenší skupiny by měla být větší než počet prediktorových (nezávislých) proměnných [7] .

Vícerozměrná normalita : Nezávislé proměnné jsou normální pro jakoukoli úroveň seskupovací proměnné [9] [7] .
Uniformita rozptylu/kovariance ( homoskedasticita ): Rozptyl mezi skupinovými proměnnými je na všech úrovních prediktoru stejný. To lze ověřit pomocí Boxovy M-statistiky [9] . Navrhuje se však, aby lineární diskriminační analýza byla aplikována, když jsou kovariance stejné, a když kovariance stejné nejsou, může být použita kvadratická diskriminační analýza [7] .
Multikolinearita : Síla predikce se může snižovat s tím, jak se zvyšuje korelace mezi prediktorovými (nezávislými) proměnnými [7] .
Nezávislost : Předpokládá se, že položky jsou rozděleny náhodně a skóre jedné proměnné pro položku je nezávislé na skóre jiné proměnné [9] [7] .

Předpokládá se, že diskriminační analýza je relativně stabilní s ohledem na malá porušení těchto předpokladů [11] . Bylo ukázáno, že diskriminační analýza může zůstat věrohodná, když jsou použity dichotomické náhodné proměnné (kdy je často porušena multivariační normalita) [12] .

Diskriminační funkce

Diskriminační analýza funguje tak, že vytvoří jednu nebo více lineárních kombinací prediktorů, čímž pro každý prvek vytvoří novou latentní proměnnou . Tyto rysy se nazývají diskriminační rysy . Počet možných znaků je buď Ng -1, kde Ng = počet skupin, nebo p (počet prediktorů), podle toho, která hodnota je menší. První vytvořený prvek maximalizuje rozdíl mezi skupinami pro tento prvek. Druhá funkce maximalizuje rozdíl oproti této funkci, ale nesmí korelovat s předchozí funkcí. Proces pokračuje vytvořením sekvence prvků s požadavkem, aby nový prvek nekoreloval se všemi předchozími.

Daná skupina s ukázkovými prostorovými sadami , tam je diskriminační pravidlo takový to jestliže , pak . Diskriminační analýza pak najde "dobré" oblasti souborů , aby se minimalizovala chyba klasifikace, což vede k vysokému procentu klasifikace [13] . $j$ ${\displaystyle \mathbb {R} _{j))$ ${\displaystyle x\in \mathbb {R} _{j))$ $x\in j$ ${\displaystyle \mathbb {R} _{j))$

Za každou funkcí následuje diskriminační skóre, které určuje, jak dobře předpovídá členství ve skupině.

Strukturální korelační koeficienty: Korelace mezi každým prediktorem a diskriminačním skóre pro každý rys. To je úplná korelace [14] .
Normalizované koeficienty: Příspěvek každého prediktoru ke každému prvku, takže toto je částečná korelace . Zobrazuje relativní důležitost každého prediktoru jako příspěvek k členství ve skupině pro každou funkci.
Prvky ze skupinových těžišť: Průměrné diskriminační skóre pro každou proměnnou pro každý prvek. Čím dále jsou střední hodnoty od sebe, tím menší bude chyba klasifikace.

Diskriminační pravidla

Metoda maximální věrohodnosti : Přiřadí x skupině maximalizující (skupinovou) hustotu osídlení [15] .
Bayesovo diskriminační pravidlo: Přiřadí x ke skupině maximalizující , kde představuje předchozí pravděpodobnost klasifikace a představuje hustotu obyvatelstva [15] . $\pi _{i}f_{i}(x)$ $\pi _{i}$ $opravit)$
Fisherovo lineární diskriminační pravidlo: Maximalizuje poměr mezi SS mezi a SS uvnitř a najde lineární kombinaci prediktorů pro skupinovou předpověď [15] .

Vlastní čísla

Vlastní hodnota v diskriminační analýze je vlastní hodnotou pro každou funkci[ Co je to vlastní hodnota funkce? ] . Ukazuje, jak funkce odděluje skupiny. Čím větší je vlastní hodnota, tím lépe funkce sdílí [7] . Zde je však třeba být opatrný, protože vlastní čísla nemají horní hranici [9] [7] . Vlastní hodnotu lze považovat za poměr SS mezi a SS uvnitř jako v ANOVA, kdy je závislá proměnná diskriminační funkce a skupiny jsou úrovně IV [9] . To znamená, že největší vlastní hodnota je spojena s první funkcí, druhá největší je spojena s druhou a tak dále.

Velikost efektu

Někteří navrhují používat vlastní čísla jako měřítko velikosti efektu , ale obecně to není podporováno [9] . Místo toho je vhodnější použít jako měřítko účinku kanonickou korelaci . Je podobný vlastní hodnotě, ale je druhou odmocninou poměru SS mezi a SS celkem . Je rovna korelaci mezi skupinami a funkcí [9] .

Dalším oblíbeným měřítkem velikosti účinku je procentuální rozptyl .[ upřesnit ] pro každou funkci. Lze jej vypočítat pomocí vzorce: , kde je vlastní hodnota funkce a je součtem všech vlastních hodnot. Hodnota nám říká, jak přesná je předpověď daná konkrétní funkcí ve srovnání s jinými funkcemi [9] . $(\lambda _{x}/\mathrm {\Sigma } \lambda _{i}'')\times 100$ $\lambda _{x}$ ${\displaystyle \mathrm {\Sigma } \lambda _{i))$

Procento správné klasifikace lze analyzovat jako velikost účinku [9] .

Kanonická diskriminační analýza pro k tříd

Kanonická diskriminační analýza ( CDA ) najde osy ( k − 1 kanonické souřadnice , kde k je počet tříd), které nejlépe oddělují kategorie . Tyto lineární funkce nekorelují a v důsledku toho určují optimální k − 1rozměrný prostor prostřednictvím n - rozměrného datového mraku, který nejlépe odděluje k skupin. Viz " LDA s více třídami " níže.

Fisherův lineární diskriminant

Termíny Fisherův lineární diskriminant a LDA se často používají zaměnitelně, ačkoliv Fisherův původní článek [1] ve skutečnosti popisuje mírně odlišný diskriminant, který nevytváří stejné předpoklady jako LDA, jako je normální rozdělení tříd nebo rovnost třídní kovariance .

Předpokládejme, že dvě třídy pozorování mají průměry a kovariance . Pak bude mít lineární kombinace prvků střední hodnoty a odchylky pro . Fisher definoval oddělení mezi těmito dvěma distribucemi jako poměr rozptylu mezi třídami a rozptylu uvnitř tříd: ${\vec {\mu }}_{0},{\vec {\mu }}_{1}$ $\Sigma _{0},\Sigma _{1}$ ${\vec {w}}\cdot {\vec {x}}$ ${\vec {w}}\cdot {\vec {\mu }}_{i}$ ${\vec {w}}^{T}\Sigma _{i}{\vec {w}}$ $i=0,1$

S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{T}\Sigma _{1}{\vec {w}}+{\vec {w}}^{T}\Sigma _{0}{\vec {w}}}}={ \frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{T}(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}

Tato míra je v jistém smyslu mírou poměru signálu k šumu pro označení třídy. Dá se ukázat, že maximální separace bude kdy

{\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec { \mu }}_{0})

Pokud platí předpoklady LDA, výše uvedená rovnost je ekvivalentní LDA.

Všimněte si, že vektor je normála diskriminační nadroviny . Například ve dvourozměrném problému je čára, která nejlépe odděluje dvě skupiny, kolmá na . $\vec w$ $\vec w$

Obecně se datové body, které sdílejí, promítají do . Prahová hodnota, která nejlépe odděluje data, je pak vybrána na základě jednorozměrného rozdělení. Pro výběr prahu neexistuje žádné obecné pravidlo. Pokud však projekce bodů z obou tříd vykazují zhruba stejné rozložení, je dobrou volbou nadrovina mezi projekcemi dvou prostředků a . V tomto případě lze parametr c v prahové podmínce nalézt explicitně: $\vec w$ ${\vec {w}}\cdot {\vec {\mu }}_{0}$ ${\vec {w}}\cdot {\vec {\mu }}_{1}$ ${\vec {w}}\cdot {\vec {x}}>c$

c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1} )={\frac {1}{2}}{\vec {\mu }}_{1}^{T}\Sigma _{1}^{-1}{\vec {\mu }}_{1 }-{\frac {1}{2}}{\vec {\mu }}_{0}^{T}\Sigma _{0}^{-1}{\vec {\mu }}_{0 }

Metoda Otsu souvisí s Fisherovým lineárním diskriminantem a byla vytvořena za účelem binarizace histogramu pixelů v monochromatickém obrázku optimálním výběrem prahu černá/bílá, který minimalizuje rozdíly uvnitř třídy a maximalizuje rozdíly mezi třídami.

LDA s více třídami

V případě, že existují více než dvě třídy, lze analýzu použitou při získávání Fisherova diskriminantu rozšířit tak, aby se získal podprostor , který obsahuje všechny varianty tříd [14] [16] . Toto zobecnění má na svědomí K. R. Rao [17] . Předpokládejme, že každá z tříd C má střední hodnotu a stejnou kovarianci . Potom může být rozptyl třídního rozptylu definován jako výběrová kovariance středních tříd ${\displaystyle \mu _{i))$ $\Sigma$

\Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i} -\mu )^{T}

kde je průměr průměrů za třídy. Oddělovač třídy ve směru v tomto případě bude dán hodnotou $\mu$ ${\vec {w))$

S={\frac {{\vec {w}}^{T}\Sigma _{b}{\vec {w}}}({\vec {w}}^{T}\Sigma {\ vec{w}}}}

To znamená , že když je vlastní vektor , bude hodnota větvení rovna odpovídající vlastní hodnotě . ${\vec {w))$ ${\displaystyle \Sigma ^{-1}\Sigma _{b))$

Je-li diagonalizovatelný, bude rozptyl mezi prvky obsažen v podprostoru rozprostřeném vlastními vektory odpovídajícími největším vlastním číslům C − 1 (protože pořadí je nejvýše C − 1). Tyto vlastní vektory se používají hlavně při výběru prvků, jako v PCA. Vlastní vektory odpovídající menším vlastním číslům jsou velmi citlivé na přesný výběr trénovacích dat a často je nutné použít regularizaci , jak je popsáno v další části. ${\displaystyle \Sigma ^{-1}\Sigma _{b))$ ${\displaystyle \Sigma _{b))$

Je-li požadována klasifikace, existuje mnoho alternativních přístupů, které lze použít místo redukce rozměrů . Třídy lze například rozdělit a pro klasifikaci každé části použít standardní diskriminant Fisher nebo LDA. Běžným příkladem tohoto přístupu je „jeden proti zbytku“, kdy body jedné třídy zapadají do jedné skupiny a vše ostatní zapadá do jiné skupiny, pak se použije LDA. To poskytuje klasifikátory C, jejichž výsledky jsou kombinovány. Další běžnou metodou je párová klasifikace, kdy se pro každou dvojici tříd vytvoří nový klasifikátor (což dává celkem C ( C − 1)/2 klasifikátorů) a jednotlivé klasifikátory se spojí, aby vznikla konečná klasifikace.

Algoritmus přírůstkového LDA

Typická implementace techniky LDA vyžaduje, aby byly všechny vzorky dostupné najednou. Existují však situace, kdy není k dispozici celá datová sada a vstup je přijímán jako stream. V tomto případě je žádoucí, aby bylo možné aktualizovat vypočítané vlastnosti LDA pohledem na nové vzorky, aniž by bylo nutné spouštět celý algoritmus na úplné sadě dat , aby bylo možné extrahovat vlastnosti LDA . Například v mnoha aplikacích v reálném čase, jako je mobilní robotika nebo rozpoznávání obličejů, je důležité aktualizovat extrahované funkce LDA, jakmile bude k dispozici nové pozorování. Technika extrakce prvků LDA, která dokáže aktualizovat vlastnosti LDA jednoduše zpracováním nových vzorků, se nazývá inkrementální algoritmus LDA a tato myšlenka byla intenzivně studována v posledních dvou desetiletích [18] . Catterjee a Roychaudhary navrhli inkrementální samoorganizující se algoritmus LDA pro aktualizaci funkcí LDA [19] . V jiném článku Demir a Ozmehmet navrhli on-line místní výukové algoritmy pro postupnou aktualizaci funkcí LDA pomocí opravy chyb a Hebbových pravidel učení [20] . Nedávno Aliyari, Rujic a Moghaddam vyvinuli rychlý přírůstkový algoritmus pro aktualizaci funkcí LDA pozorováním nových vzorků [18] .

Praktická aplikace

V praxi jsou třídní průměry a kovariance neznámé. Lze je však vyhodnotit z tréninkové sady. Místo přesné hodnoty u obou rovností lze použít buď metodu maximální věrohodnosti , nebo metodu posteriorního maximálního odhadu . Ačkoli odhady kovariance mohou být v určitém smyslu považovány za optimální, neznamená to, že diskriminant získaný dosazením těchto hodnot je v jakémkoli smyslu optimální, i když je předpoklad normálního rozdělení tříd správný.

Další obtíž při aplikaci LDA a Fisherovy diskriminační metody na reálná data nastává, když počet měření v každém vzorku (tedy rozměr každého datového vektoru) dosáhne počtu vzorků v každé třídě [4] . V tomto případě odhady kovariance nemají plné pořadí a nelze je převrátit. Existuje několik způsobů, jak to obejít. Jedním ze způsobů je použití pseudoinverzní matice místo obvyklé inverzní matice ve výše uvedených vzorcích. Lepší numerické stability však lze dosáhnout promítnutím problému do podprostoru překlenutého [21] . Další strategií pro řešení malých velikostí vzorků je použití kompresního odhadu kovarianční matice, kterou lze matematicky znázornit jako ${\displaystyle \Sigma _{b))$

\Sigma =(1-\lambda )\Sigma +\lambda E\,

kde je matice identity a je parametr intenzity komprese nebo regularizace . To vede k představě pravidelné diskriminační analýzy [22] nebo diskriminační analýzy s kontrakcí [23] . $E$ $\lambda$

Také v mnoha praktických případech nejsou lineární diskriminanty vhodné. LDA a Fisherův diskriminant lze rozšířit pro použití v nelineární klasifikaci pomocí kernel triku . Zde jsou původní pozorování efektivně mapována do vícerozměrného nelineárního prostoru. Lineární klasifikace v tomto nelineárním prostoru je pak ekvivalentní nelineární klasifikaci v původním prostoru. Nejčastěji používaným příkladem tohoto přístupu je Fisherův jaderný diskriminant .

LDA lze zobecnit na multidiskriminační analýzu , ve které se c stává kvalitativní proměnnou s N možnými stavy namísto dvou. Podobně, pokud jsou hustoty distribuce pro třídy normální a mají stejnou kovarianci, jsou dostatečné statistiky pro hodnoty N projekcí, což je podprostor překlenutý N průměry afinně promítnutými inverzní kovarianční maticí. Tyto projekce lze nalézt řešením zobecněného problému vlastních hodnot , kde čitatelem je kovarianční matice vytvořená zpracováním prostředků jako vzorků a jmenovatelem je společná kovarianční matice. Viz „ LDA s více třídami “ výše. $p({\vec {x}}\mid c=i)$ $P(c\mid {\vec {x)))$

Aplikace

Kromě příkladů uvedených níže má LDA aplikace v polohování a správě produktů .

Prognóza bankrotu

Při předpovídání bankrotu na základě účetních sazeb a dalších finančních proměnných byla lineární diskriminační analýza první statistickou metodou používanou k systematickému vysvětlení, které firmy selžou nebo přežijí. Navzdory omezením, včetně dobře známé nesprávnosti předpokladu normálního rozdělení LDA pro účetní sazby , zůstává model Edwarda Altmana z roku 1968 vedoucím modelem v praktických aplikacích.

Rozpoznávání obličeje

V počítačovém systému rozpoznávání obličejů je každý obličej reprezentován velkým počtem hodnot pixelů. Lineární diskriminační analýza se zde používá hlavně pro snížení počtu prvků na lépe zvládnutelný počet před pokusem o klasifikaci. Každý z nových rozměrů je lineární kombinací hodnot pixelů tvořících vzor. Lineární kombinace získané pomocí Fisherova lineárního diskriminantu se nazývají Fisherovy tváře , zatímco kombinace získané pomocí analýzy hlavních komponent se nazývají vlastní tváře [24] .

Marketing

V marketingu se diskriminační analýza často používá k určení faktorů, které odlišují různé typy uživatelů a/nebo produktů na základě průzkumů nebo jiných forem sběru dat. V dnešní době se pro tyto účely obvykle používá logistická regrese nebo jiné metody. Použití diskriminační analýzy v marketingu lze popsat jako následující kroky:

Formulujeme problém a sbíráme data. Definujeme vlastnosti spotřebitelských vlastností, které spotřebitelé používají k hodnocení v této kategorii. Pro sběr dat od vzorku potenciálních spotřebitelů používáme techniku kvantitativního marketingového výzkumu (jako je průzkum ) ohledně jejich hodnocení všech atributů produktu. Fázi sběru dat obvykle provádějí odborníci na marketingový výzkum. Otázky sociálního průzkumu požadují od respondentů, aby hodnotili produkt na škále 1 až 5 (nebo 1 až 7 nebo 1 až 10) na základě sady ukazatelů vybraných výzkumníky. Vyberte si z pěti až dvaceti indikátorů. Mohou zahrnovat vlastnosti, jako je snadnost použití, hmotnost, přesnost, odolnost, barevný rozsah, cena nebo velikost. Vybrané ukazatele se budou lišit v závislosti na zkoumaném produktu. Stejné otázky jsou kladeny na všechny zkoumané produkty. Údaje o produktech jsou kódovány a zadávány do statistických programů jako R , SPSS nebo SAS . (Tento krok je stejný jako krok ve faktorové analýze).
Vyhodnotíme koeficienty diskriminační funkce a určíme statistickou významnost a validitu. Zvolíme vhodnou metodu diskriminační analýzy. Přímá metoda využívá vyhodnocení diskriminační funkce, takže všechny prediktory jsou vyhodnocovány současně. Postupná metoda zavádí prediktory postupně. Metoda dvou skupin by se měla použít, když má závislá proměnná dvě kategorie nebo stavy. Vícerozměrná diskriminační metoda se používá, když má závislá proměnná tři nebo více kategorických stavů. Pro testování významnosti můžete použít Wilksovu lambdu v SPSS nebo "F stat" v SAS. Nejběžnější metodou testování platnosti je rozdělení vzorku na hodnotící nebo analytický vzorek a validační nebo odložený vzorek. Vyhodnocovací vzorek se používá ke konstrukci diskriminační funkce. Testovací vzorek slouží k sestavení klasifikační matice, která obsahuje počet správně klasifikovaných a nesprávně klasifikovaných případů. Procento správně klasifikovaných případů se nazývá míra úspěšnosti .
Výsledek vyneseme do dvourozměrného grafu, určíme rozměry a výsledek interpretujeme. Statistický program pomáhá zobrazovat výsledky. Graf zobrazí každý produkt (obvykle ve 2D prostoru). Vzdálenost mezi produkty ukazuje, jak se liší. Rozměry by měly být označeny výzkumníkem. To vyžaduje subjektivní rozhodnutí a jsou často velmi kontroverzní. Viz Vytváření percepční mapy .

Biomedicínský výzkum

Hlavní aplikací diskriminační analýzy v medicíně je posouzení závažnosti stavu pacienta a prognózy průběhu onemocnění. Například při retrospektivní analýze jsou pacienti rozděleni do skupin podle závažnosti onemocnění – mírná, středně těžká a těžká forma. Výsledky klinických a laboratorních analýz jsou poté zkoumány, aby byly nalezeny proměnné, které jsou ve studijních skupinách dostatečně odlišné. Na základě těchto proměnných jsou budovány diskriminační funkce, které pomáhají v budoucnu objektivně klasifikovat průběh onemocnění u pacientů, zda bude mírný, středně těžký nebo těžký.

V biologii se podobné principy používají ke klasifikaci a definování skupin různých biologických objektů, například k určení fágového typu Salmonella enteritis na základě Fourierovy transformace infračerveného spektra [25] , k určení zdroje Escherichia coli pomocí studium jeho faktorů virulence [26] atd.

Geosciences

Tato metoda může být použita k oddělení zón hydrotermální alterace. Například, když jsou k dispozici různá data z různých zón, může diskriminační analýza najít vzory v datech a efektivně je klasifikovat [27] .

Srovnání s logistickou regresí

Diskriminační funkční analýza je velmi podobná logistické regresi a obě metody lze použít k zodpovězení některých otázek výzkumníků [9] . Logistická regrese nemá tolik předpokladů jako diskriminační analýza. Pokud jsou však splněny předpoklady diskriminační analýzy, je výkonnější než logistická regrese [28] . Na rozdíl od logistické regrese lze diskriminační analýzu použít pro malé velikosti vzorků. Ukázalo se, že když jsou velikosti vzorků stejné a existuje homogenita rozptylu/kovariance, je diskriminační analýza přesnější [7] . Vzhledem k tomu všemu je logistická regrese volena častěji, protože předpoklady diskriminační analýzy jsou málokdy splněny [8] [7] .

Viz také

data mining
Školení rozhodovacího stromu
Faktorová analýza
Fisher Nuclear Discriminant Analysis
Logit (pro logistickou regresi )
Multidiskriminační analýza
Vícerozměrné škálování
Rozpoznávání vzorů
perceptron
Kvadratický klasifikátor
Statistická klasifikace

Poznámky

↑ 12 Fisher , 1936 , str. 179–188.
↑ McLachlan, 2004 .
↑ Wetcher-Hendricks, 2011 , str. 288.
↑ 1 2 Martinez, Kak, 2001 , str. 228–233.
↑ Abdi, 2007 , str. 270–275.
↑ Perriere, Thioulouse, 2003 , str. 99–105.
↑ 1 2 3 4 5 6 7 8 9 10 ÇOKLUK, BÜYÜKÖZTÜRK, 2008 , s. 73-92.
↑ 1 2 Cohen, Cohen, West, Aiken, 2003 .
↑ 1 2 3 4 5 6 7 8 9 10 11 Green, Salkind, Akey, 2008 .
↑ Venables, Ripley, 2002 , str. 338.
↑ Lachenbruch, 1975 .
↑ Klecka, 1980 .
↑ Hardle, Simar, 2007 , str. 289–303.
↑ 12 Garson , 2012 .
↑ 1 2 3 Hardle, Simar, 2007 , str. 289-303.
↑ Archivovaná kopie (downlink) . Získáno 4. března 2008. Archivováno z originálu dne 12. března 2008. (neurčitý) .
↑ Rao, 1948 , str. 159–203.
↑ 1 2 Ghassabeh, Rudzicz, Moghaddam, 2015 , str. 1999–2012
↑ Chatterjee, Roychowdhury, 1997 , s. 663–678.
↑ Demir, Ozmehmet, 2005 , str. 421–431.
↑ Yu, Yang, 2001 , str. 2067–2069.
↑ Friedman, 1989 , str. 165–17.
↑ Ahdesmäki, Strimmer, 2010 , str. 503–519.
↑ Termín vlastní tváře se používá k označení vlastních vektorů a vlastních čísel , které se používají při rozpoznávání obličejů metodou hlavní komponenty .
↑ Preisner, Guiomar, Machado, Menezes, Lopes, 2010 , str. 3538–3544.
↑ David, Lynne, Han, Foley, 2010 , str. 7509–7513.
↑ Tahmasebi, Hezarkani, Mortazavi, 2010 , str. 564–576.
↑ Hastie, Tibshirani, Friedman, 2009 , str. 128.

Literatura

Hardle W., Simar L. Aplikovaná vícerozměrná statistická analýza. - Berlin Heidelberg: Springer, 2007. - ISBN 3-540-03079-4 .
Lachenbruch PA Diskriminační analýza . — Hospoda Macmillan. Co., 1975. - ISBN 978-0-02-848250-7 .
Vilém R. Klečka. diskriminační analýza. - Thousand Oaks, CA: Sage Publications, 1980. - (Kvantitativní aplikace v řadě společenských věd).
- Překlad ve sbírce J.-O. Kim, C.W. Muller, W.R. Klekka, M.S. Oldenderfer, R.K. Blashfield. Faktorová, diskriminační a shluková analýza / Ed. JE. Enjukov. - M .: "Finance a statistika", 1989. - S. 78-137. — ISBN 5-279-00247-X .
Jacob Cohen, Patricia Cohen, Stephen G. West, Leona S. Aiken. Aplikovaná vícenásobná regresní/korelační analýza pro behaviorální vědy. - 3. vyd. - Mahwah, New Jersey, Londýn: Lawrence Erlbaum Associates, Publishers, 2003. - ISBN 0-8058-2223.
Hardle W., Simar L. Aplikovaná vícerozměrná statistická analýza. — 2. - Berlin Heidelberg: Springer, 2007. - ISBN 9783540722434 .
Abdi H. Analýza diskriminační korespondence // Encyklopedie měření a statistiky / NJ Salkind. — Thousand Oaks (CA): Sage, 2007.
Perriere G., Thioulouse J. Použití korespondenční diskriminační analýzy k predikci subcelulárního umístění bakteriálních proteinů // Počítačové metody a programy v biomedicíně. - 2003. - T. 70 . - doi : 10.1016/s0169-2607(02)00011-1 .
Fisher R. A. The Use of Multiple Measurements in Taxonomic Problems // Annals of Eugenics . - 1936. - T. 7 , č.p. 2 . - doi : 10.1111/j.1469-1809.1936.tb02137.x .
McLachlan GJ diskriminační analýza a statistické rozpoznávání vzorů. - Wiley Interscience, 2004. - ISBN 0-471-69115-1 .
Debra Wetcher-Hendricks. Analýza kvantitativních dat: Úvod pro sociální výzkumníky. - Hoboken, NJ: Wiley, 2011. - ISBN 978-0-470-52683-5 .
Garson GD Analýza diskriminační funkce. - Asheboro, USA: Statistical Publishing Associates, 2012. - (Seriál Modrá kniha).
Tahmasebi P., Hezarkani A., Mortazavi M. Aplikace diskriminační analýzy pro separaci změn; ložisko mědi sungun, východní Ázerbájdžán, Írán. Australský // Journal of Basic and Applied Sciences. - 2010. - T. 6 , no. 4 .
Trevor Hastie, Robert Tibshirani, Jerome Friedman. Prvky statistického učení. Data mining, inference a predikce. - druhý. - Springer, 2009. - ISBN 0387848576 .
BÖKEOĞLU ÇOKLUK Ö, BÜYÜKÖZTÜRK Ş. Analýza diskriminační funkce: Koncept a aplikace // Eğitim araştırmaları dergisi. - 2008. - Vydání. 33 .
Green SB, Salkind NJ, Akey TM Použití SPSS pro Windows a Macintosh: Analýza a pochopení dat. — New Jersey: Prentice Hall, 2008.
Martinez AM, Jak AC PCA versus LDA // Transakce IEEE na analýze vzorů a strojové inteligenci . - 2001. - T. 23 , no. 2 . — S. 228–233 . - doi : 10.1109/34.908974 .
Yu H., Yang J. Přímý algoritmus LDA pro vysokorozměrná data – s aplikací na rozpoznávání obličejů // Rozpoznávání vzorů. - 2001. - T. 34 , no. 10 . - doi : 10.1016/s0031-3203(00)00162-x .
Friedman JH Regularized Discriminant Analysis // Journal of the American Statistical Association . - Americká statistická asociace, 1989. - V. 84 , no. 405 . - doi : 10.2307/2289860 . — .
Ahdesmäki M., Strimmer K. Výběr rysů v problémech s předpovědí omiky pomocí kočičího skóre a falešné kontroly míry neobjevení // Annals of Applied Statistics. - 2010. - T. 4 , no. 1 . — S. 503–519 . - doi : 10.1214/09-aoas277 . - arXiv : 0903.2003 .
Preisner O., Guiomar R., Machado J., Menezes JC, Lopes JA Aplikace infračervené spektroskopie a chemometrie s Fourierovou transformací pro diferenciaci typů fágů Salmonella enterica sérovar Enteritidis // Appl Environ Microbiol. - 2010. - T. 76 , č.p. 11 . - doi : 10.1128/aem.01589-09 .
David DE, Lynne AM, Han J., Foley SL Hodnocení profilování faktoru virulence při charakterizaci veterinárních izolátů Escherichia coli // Appl Environ Microbiol. - 2010. - T. 76 , č.p. 22 . - doi : 10.1128/aem.00726-10 .
Youness Aliyari Ghassabeh, Frank Rudzicz, Hamid Abrishami Moghaddam. Rychlá přírůstková extrakce funkcí LDA // Rozpoznávání vzoru. - 2015. - Červen ( díl 48 , číslo 6 ). - doi : 10.1016/j.patcog.2014.12.012 .
Chatterjee C., Roychowdhury VP O samoorganizujících se algoritmech a sítích pro funkce oddělitelnosti tříd // IEEE Transactions on Neural Networks. - 1997. - Květen ( díl 8 , číslo 3 ). — ISSN 1045-9227 . - doi : 10.1109/72.572105 .
Demir GK, Ozmehmet K. Online Local Learning Algorithms for Linear Discriminant Analysis // Pattern Recognition. Lett.. - 2005. - Březen ( díl 26 , číslo 4 ). — ISSN 0167-8655 . - doi : 10.1016/j.patrec.2004.08.005 .
Rao R.C. Využití vícenásobných měření v problémech biologické klasifikace // Journal of the Royal Statistical Society, Series B. - 1948. - V. 10 , no. 2 . — .
Venables WN, Ripley BD Modern Applied Statistics s S. - 4. - Springer Verlag, 2002. - ISBN 0-387-95457-0 .

Čtení pro další čtení

Klasifikace vzorů Duda RO, Hart PE, Stork DH . — 2. - Wiley Interscience, 2000. - ISBN 0-471-05669-3 .
Logistické regresní modely Hilbe JM . - Chapman & Hall/CRC Press, 2009. - ISBN 978-1-4200-7575-5 .
Mika S. Fisher Diskriminační analýza s jádry // Konference IEEE o neuronových sítích pro zpracování signálu IX. - 1999. - S. 41-48 . - doi : 10.1109/NNSP.1999.788121 .
H. Richard McFarland, St. P. Richards Donald. Přesné pravděpodobnosti chybné klasifikace pro plug-in normální kvadratické diskriminační funkce. I. The Equal-Means Case // Journal of Multivariate Analysis. - 2001. - T. 77 , no. 1 . — S. 21–53 . - doi : 10.1006/jmva.2000.1924 .
H. Richard McFarland, St. P. Richards Donald. Přesné pravděpodobnosti chybné klasifikace pro plug-in normální kvadratické diskriminační funkce. II. The Heterogeneous Case // Journal of Multivariate Analysis. - 2002. - T. 82 , no. 2 . — S. 299–330 . - doi : 10.1006/jmva.2001.2034 .

Odkazy

Haghighat M., Abdel-Mottaleb M., Alhalabi W. Diskriminační korelační analýza: Fúze na úrovni funkcí v reálném čase pro multimodální biometrické rozpoznávání // Transakce IEEE v oblasti informační forenzní analýzy a bezpečnosti. - 2016. - T. 11 , no. 9 . — S. 1984–1996 . - doi : 10.1109/TIFS.2016.2569061 .
ALGLIB obsahuje open-source implementaci LDA v C# / C++ / Pascal / VBA.
Psychometrica.de (nedostupný odkaz) open-source implementace LDA v Javě
LDA tutoriál pomocí MS Excel
biomedicínské statistiky. Diskriminační analýza
StatQuest: Linear Discriminant Analysis (LDA) jasně vysvětleno na YouTube
Poznámky ke kurzu, Analýza diskriminačních funkcí od G. Davida Garsona, NC State University
Kurz diskriminační analýzy v Microsoft Excel od Kardi Teknomo
Poznámky ke kurzu, analýza diskriminačních funkcí od Davida W. Stockburgera, Missouri State University Archivováno 3. března 2016 na Wayback Machine
Analýza diskriminačních funkcí (DA) Johna Poulsena a Aarona Frenche, San Francisco State University

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-Net Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG