Učení příkladem

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 19. května 2019; kontroly vyžadují 4 úpravy .

Učení z příkladů je typ učení, ve kterém je intelektuálnímu systému prezentována sada pozitivních a negativních příkladů spojených s nějakou dříve neznámou pravidelností. V inteligentních systémech se vyvíjejí rozhodovací pravidla, pomocí kterých se množina příkladů dělí na pozitivní a negativní. Kvalita separace je obvykle kontrolována zkušebním vzorkem příkladů. [jeden]

Matematická formalizace

Nechť je množina popisů objektů, množina platných odpovědí. Existuje neznámá cílová závislost — mapování , jehož hodnoty jsou známy pouze na objektech finálního trénovacího vzorku . Je potřeba sestavit algoritmus , který by aproximoval neznámou cílovou závislost jak na prvcích vzorku, tak na celé množině . $X$ $Y$ $y^{{*}}\dvojtečka X\to Y$ $X^{m}=\{(x_{1},y_{1}),\tečky ,(x_{m},y_{m})\}$ $a\dvojtečka X\až Y$ $X$

Říkají také, že algoritmus musí být schopen zobecnit empirická fakta, případně odvodit obecné znalosti ( pravidelnost , závislost ) z konkrétních faktů (pozorování, precedenty).

Ztrátové funkce a kvalitní funkcionality

Je zavedena ztrátová funkce , která charakterizuje odchylku odpovědi od správné odpovědi na libovolném objektu . ${{\mathcal L}}(y,y')$ $y=a(x)$ $y'=y^{*}(x)$ $x\in X$

Typická volba ztrátové funkce:

V klasifikačních problémech ; ${\mathcal {L}}(y,y')=[y'\neq y]$
v regresních problémech . ${\mathcal {L}}(y,y')=(y'-y)^{2}$

Je zaveden funkcionál kvality , který charakterizuje průměrnou chybu ( empirické riziko ) algoritmu na libovolném vzorku . $A$ ${\displaystyle X^{m))$

Q(a,X^{m})={\frac {1}{m}}\součet _{{i=1}}^{m}{{\mathcal L}}(a(x_{i}) ,y^{{*}}(x_{i})).

Empirická metoda minimalizace rizika je jedním z nejběžnějších přístupů k učení algoritmů z precedentů. Spočívá v nalezení algoritmu v daném modelu algoritmů, který minimalizuje průměrnou chybu na trénovací množině: $A=\{a\dvojtečka X\to Y\}$

a={\mathrm {arg}}\min _{{a\in A}}Q(a,X^{m}).

Problém učení je tedy redukován na optimalizaci a může být řešen numerickými optimalizačními metodami .

Zobecňující schopnost a problém nadměrného vybavení

Malá hodnota funkcionálu kvality na trénovacím vzorku nezaručuje, že sestrojený algoritmus dobře obnoví cílovou závislost na celém prostoru . Při pokusu popsat konkrétní data přesněji, než by úroveň šumu v datech a chyba samotného modelu v zásadě umožňovaly , hrozí nebezpečí přepasování nebo přepasování . $X$

Je snadné uvést příklad algoritmu, který minimalizuje empirické riziko na nulu, ale nemá schopnost zobecňovat. Po obdržení cvičného vzorku si jej zapamatuje a poté porovná prezentovaný objekt s trénovacími objekty z . V případě shody dává algoritmus správnou odpověď . V opačném případě je vydána libovolná odpověď. Empirické riziko má nejmenší možnou hodnotu rovnou nule. Tento algoritmus však není schopen obnovit závislost mimo učební objekty. Tento příklad přesvědčivě ukazuje, že pro úspěšné učení je potřeba nejen memorovat, ale i zobecňovat. ${\displaystyle X^{m))$ $X$ $x_{i}$ ${\displaystyle X^{m))$ ${\displaystyle x=x_{i))$ $y_{i}$

Téměř u každé metody se vynakládá zvláštní úsilí, aby se zabránilo nadměrnému vybavení. Meze použitelnosti empirické metody minimalizace rizik a problém overfittingu studuje statistická teorie učení .

Prostor funkcí

Znak je mapování , kde je množina přípustných hodnot znaku. Pokud jsou uvedeny vlastnosti , pak se vektor nazývá popis prvku objektu . Orientační popisy lze identifikovat s objekty samotnými. V tomto případě se sada nazývá prostor funkcí . ${\displaystyle f\colon X\to D_{f))$ $D_f$ ${\displaystyle f_{1},\tečky ,f_{n))$ ${{\mathbf x}}=(f_{1}(x),\tečky ,f_{n}(x))$ $x\in X$ $X=D_{{f_{1}}}\times \tečky \times D_{{f_{n}}}$

V závislosti na sadě jsou značky rozděleny do následujících typů: $D_f$

binární znak: ; $D_{f}=\{0,1\}$
jmenný atribut: - konečná množina ; $D_f$
ordinální atribut: - konečná uspořádaná množina; $D_f$
kvantitativní znak: - množina reálných čísel . $D_f$

Často se uplatňují problémy s různými typy vlastností, ne všechny metody jsou vhodné pro jejich řešení.

Úkoly k řešení

Úkolem doplnit chybějící údaje

Prvotní informace jsou prezentovány ve formě indikativních popisů. Hodnoty některých funkcí pro některé objekty mohou chybět. Takové případy v praxi často nastávají. Experimentátor například nemusí zaznamenat výsledek pozorování; respondent může odmítnout odpovědět na otázku dotazníku; pacient tento typ vyšetření nemusí absolvovat; atd. Mnoho metod analýzy dat však vyžaduje úplné vyplnění vstupní matice popisů prvků. K doplnění chybějících hodnot se často používá následující přístup. S ohledem na tuto vlastnost jako na cíl je vytvořen algoritmus, který předpovídá její hodnotu v závislosti na dalších vlastnostech. Chybějící hodnoty jsou doplněny předpověďmi. Tato operace se provádí se všemi funkcemi, které mají chybějící hodnoty.

Pokud je znaménko kvantitativní, použijí se metody regresní obnovy , pokud je znaménko kvalitativní (nominální), použijí se klasifikační metody .

Algoritmy

Poznámky

↑ A. N. Averkin, M. G. Gaaze-Rapoport , D. A. Pospelov „Vysvětlující slovník umělé inteligence“ [1] Archivní kopie z 5. května 2010 na Wayback Machine

Literatura

Ayvazyan S. A., Enyukov I. S., Meshalkin L. D. Aplikovaná statistika : základy modelování a primární zpracování dat. - M .: Finance a statistika, 1983.
Ayvazyan S. A., Enyukov I. S., Meshalkin L. D. Aplikovaná statistika: studium závislostí. - M .: Finance a statistika, 1985.
Ayvazyan S. A., Buchstaber V. M., Enyukov I. S., Meshalkin L. D. Aplikovaná statistika: klasifikace a redukce rozměrů . - M .: Finance a statistika, 1989.
Vapnik VN Rekonstrukce závislostí na základě empirických dat. — M.: Nauka, 1979.
Zhuravlev Yu. I., Rjazanov V. V., Senko O. V. „Uznání“. Matematické metody. Softwarový systém. Praktické aplikace. — M.: Fazis, 2006. ISBN 5-7036-0108-8 .
Zagoruiko NG Aplikované metody analýzy dat a znalostí. - Novosibirsk : IM SO RAN, 1999. ISBN 5-86134-060-9 .
Shlesinger M., Glavach V. Deset přednášek o statistickém a strukturálním rozpoznávání. - Kyjev : Naukova Dumka , 2004. ISBN 966-00-0341-2 .
Hastie, T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction . — 2. vyd. - Springer-Verlag, 2009. - 746 s. - ISBN 978-0-387-84857-0 . .
Mitchell T. Strojové učení. — McGraw-Hill Science/Engineering/Math, 1997. ISBN 0-07-042807-7 .

Odkazy

www.MachineLearning.ru je profesionální wiki zdroj věnovaný strojovému učení a dolování dat