Školení rozhodovacího stromu

Trénink rozhodovacího stromu využívá rozhodovací strom (jako prediktivní model ) k přechodu od pozorování objektů (reprezentovaných ve větvích) k odvození o cílových hodnotách objektů (reprezentovaných v listech). Toto učení je jedním z přístupů predikčního modelování používaných ve statistice , dolování dat a strojovém učení . Stromové modely, kde může cílová proměnná nabývat diskrétní sadu hodnot, se nazývají klasifikační stromy . V těchto stromových strukturách představují listy štítky tříd a větve představují spojky funkcí , které vedou k těmto štítkům tříd. Rozhodovací stromy, ve kterých může cílová proměnná nabývat spojitých hodnot (obvykle reálných čísel ), se nazývají regresní stromy .

V rozhodovací analýze lze rozhodovací strom použít k vizuální a explicitní reprezentaci rozhodování . Při dolování dat rozhodovací strom popisuje data (ale výsledný klasifikační strom může být vstupem pro rozhodování ). Tato stránka se zabývá rozhodovacími stromy v dolování dat .

Diskuse

Trénink rozhodovacího stromu je technika běžně používaná v data miningu [1] . Cílem je vytvořit model, který předpovídá hodnotu cílové proměnné na základě některých vstupních proměnných. Příklad je uveden na obrázku vpravo. Každý vnitřní uzel odpovídá jedné ze vstupních proměnných. Pro každou možnou hodnotu této vstupní proměnné existují hrany pro děti. Každý list představuje hodnotu cílové proměnné, která je určena hodnotami vstupních proměnných od kořene po list.

Rozhodovací strom je jednoduchou reprezentací příkladů klasifikace. V této části předpokládejme, že všechny vstupní prvky jsou konečné diskrétní množiny a existuje jediný cílový prvek zvaný „klasifikace“. Každý prvek klasifikace se nazývá třída . Rozhodovací strom nebo klasifikační strom je strom, ve kterém je každý vnitřní (nelistový) uzel označen vstupní funkcí. Oblouky vycházející z uzlu označeného vstupním parametrem jsou označeny všemi možnými hodnotami výstupního prvku, nebo oblouk vede k podřízenému rozhodovacímu uzlu s jiným vstupním prvkem. Každý list stromu je označen třídou nebo rozdělením pravděpodobnosti přes třídy.

Strom lze „trénovat“ rozdělením sady na podmnožiny na základě kontrol hodnot atributů. Tento proces, který se rekurzivně opakuje na každé výsledné podmnožině, se nazývá rekurzivní dělení . Rekurze je ukončena, když podmnožina v uzlu má stejnou hodnotu cílové proměnné, nebo když rozdělení nepřidává žádnou hodnotu předpovědím. Tento proces indukce rozhodovacích stromů ( TDIDT ) shora dolů [2] je příkladem chamtivého algoritmu a je nejběžněji používanou strategií pro učení rozhodovacích stromů z dat.

V dolování dat lze rozhodovací stromy také popsat jako kombinaci matematických a výpočetních technik pro popis, kategorizaci a zobecnění daného souboru dat.

Údaje přicházejí ve formě záznamů formuláře:

({\textbf {x}},Y)=(x_{1},x_{2},x_{3},...,x_{k},Y)

Závislá proměnná Y je cílová proměnná, kterou se snažíme pochopit, klasifikovat nebo zobecnit. Vektor x se skládá z prvků x 1 , x 2 , x 3 atd., které jsou použity pro úlohu.

Typy rozhodovacích stromů

Rozhodovací stromy se používají při dolování dat a existují ve dvou hlavních typech:

Analýza klasifikačního stromu , kdy je predikovaným výstupem třída, do které data patří.
Analýza regresního stromu , kdy lze predikovaný výstup považovat za reálné číslo (například cenu domu nebo délku pobytu pacienta v nemocnici).

Termín analýza klasifikačního a regresního stromu ( CART) je obecný termín a používá se k označení dvou výše uvedených postupů, z nichž první zavedl Breiman et al. v roce 1984 [3] . Stromy používané pro regresi a stromy používané pro klasifikaci mají určité podobnosti, ale také se liší, jako je postup používaný k určení místa rozdělení [3] .

Některé techniky, často označované jako metody sestavení , vytvářejí více než jeden rozhodovací strom:

Trees vytváří sestaveníkrokza krokem trénováním každé nové instance s důrazem na trénování instancí, které dříve nebyly zahrnuty do modelu. Typickým příkladem jeAdaBoost. Toho lze využít jak pro problémy regresního typu, tak pro klasifikační problémy [4] [5] .
Bagging stromu rozhodování, metoda časného sestavení, která staví více rozhodovacích stromů převzorkováním trénovacích dat s nahrazovacími a hlasovacími stromy, aby odpovídala predikci [6] .
- Náhodný lesní klasifikátor je specifickým typem pytlování .
Rotační les je přístup, ve kterém je každý rozhodovací strom nejprve trénován pomocí analýzy hlavních komponent ( PCA) na náhodné podmnožině vstupních funkcí [7] .

Speciálním případem rozhodovacích stromů je rozhodovací seznam [8] , což je jednosměrný rozhodovací strom takový, že každý vnitřní uzel má přesně 1 list a přesně 1 vnitřní uzel jako potomek (kromě nejspodnějšího uzlu, jehož jediné dítě je jeden list). I když jsou tyto seznamy méně expresivní, jsou snáze srozumitelné než obecné rozhodovací stromy kvůli jejich řídkosti, která umožňuje metody učení bez chamtivosti [9] a také umožňuje monotónní omezení [10] .

Trénink rozhodovacího stromu je konstrukce rozhodovacího stromu z trénovacích n-tic označených třídou. Rozhodovací strom je struktura podobná vývojovému diagramu, ve které každý vnitřní (nelistový) uzel představuje test atributů, každá větev představuje výsledek testu a každý list (koncový uzel) obsahuje označení třídy. Horní vrchol je kořenový uzel.

Existuje mnoho algoritmů rozhodovacího stromu. Nejpozoruhodnější z nich jsou:

ID3 ( angl. Iterative Dichotomiser 3 )
C4.5 (nástupce algoritmu ID3)
Klasifikace a regrese budováním rozhodovacího stromu. ( Anglický klasifikační a regresní strom , CART)
Automatická detekce závislostí pomocí kritéria chí-kvadrát ( CHi -kvadrát automatický detektor interakce , CHAID). Provádí víceúrovňové rozdělení při výpočtu klasifikačních stromů [11] .
Multivariační adaptivní regresní spliny ( ang. Multivariate adaptive regression splines , MARS): rozšiřuje rozhodovací stromy pro lepší zpracování kvantitativních dat.
Stromy podmíněných inferencí . Přístup založený na statistikách, který používá neparametrické testy jako rozdělené kritérium, upravené pro vícenásobné testování, aby se zabránilo přeplnění. Tento přístup vede k volbě nezaujatého prediktoru a nevyžaduje prořezávání [12] [13] .

ID3 a CART byly vyvinuty nezávisle a přibližně ve stejnou dobu (mezi lety 1970 a 1980), ale používají podobné přístupy k trénování rozhodovacího stromu z trénovacích n-tic.

Metriky

Algoritmy vytváření rozhodovacího stromu obvykle pracují shora dolů tak, že v každém kroku volí proměnnou, která nejlépe rozdělí sadu prvků [14] . Různé algoritmy používají různé metriky k měření „nejlepšího“ řešení. Obvykle měří homogenitu cílové proměnné na podmnožinách. Některé příklady jsou uvedeny níže. Tyto metriky jsou aplikovány na každou podmnožinu a výsledné hodnoty jsou kombinovány (např. je vypočítán průměr), aby se získala míra kvality oddílu.

Nečistota (kritérium) Gini

Kritérium Gini používané v algoritmu klasifikačního a regresního stromu (CART) je měřítkem toho, jak často je náhodně vybraný prvek ze sady nesprávně označen, pokud je označen náhodně podle rozložení štítků v podmnožině. Giniho kritérium lze vypočítat sečtením pravděpodobnosti prvku s vybraným štítkem vynásobené pravděpodobností chyby kategorizace pro tento prvek. Kritérium přijímá minimum (nulu), když všechny případy v uzlu spadají do stejné cílové kategorie. $p_{i}$ $i$ ${\displaystyle \sum _{k\neq i}p_{k}=1-p_{i))$

Chcete-li vypočítat Giniho kritérium pro sadu prvků s třídami, předpokládejme, že , a nechť je poměr prvků označených třídou v sadě. $J$ ${\displaystyle i\in \{1,2,...,J\))$ $p_{i}$ $i$

\operatorname {I} _{G}(p)=\sum _{i=1}^{J}p_{i}\sum _{k\neq i}p_{k}=\součet _{ i=1}^{J}p_{i}(1-p_{i})=\sum _{i=1}^{J}(p_{i}-{p_{i}}^{2}) =\součet _{i=1}^{J}p_{i}-\součet _{i=1}^{J}{p_{i}}^{2}=1-\součet _{i=1 }^{J}{p_{i}}^{2}

Informační zisk

V algoritmech generování stromu ID3 , C4.5 a C5.0. využívá se informační zisk , který vychází z konceptu entropie a množství informací z teorie informace .

Entropie je definována následovně

\mathrm {H} (T)=\jméno operátora {I} _{E}\left(p_{1},p_{2},...,p_{J}\right)=-\sum _ {i=1}^{J}{p_{i}\log _{2}p_{i}}

kde jsou zlomky, které se sčítají do 1, což představuje procento každé třídy získané z rozdělení ve stromu [15] . $p_{1}, p_{2},...$

já G ( T , A ) ⏞ Informační zisk = H ( T ) ⏞ Entropie (rodič) − H ( T | A ) ⏞ Vážený součet entropie (děti) {\displaystyle \overbrace {IG(T,a)} ^{\text{Information Gain}}=\overbrace {\mathrm {H} (T)} ^{\text{Entropy (rodič)))-\overbrace { \mathrm {H} (T|a)} ^{\text{Vážená suma entropie (děti)}}}

\overbrace {IG(T,a)} ^{\text{Information Gain}}=\overbrace {\mathrm {H} (T)} ^{\text{Entropy (rodič)))-\overbrace { \mathrm {H} (T|a)} ^{\text{Vážená suma entropie (děti)}}

=-\sum _{i=1}^{J}p_{i}\log _{2}{p_{i}}-\součet _{a}{p(a)\součet _{i =1}^{J}-\Pr(i|a)\log _{2}{\Pr(i|a)))

Ve vzorci

Information Gain=Zisk informací
Entropie (rodič) = Entropie (rodič)
Vážený součet entropie (děti)=vážený součet entropie (děti)

Zisk informací se používá k rozhodnutí, kterou vlastnost použít pro rozdělení v každém kroku konstrukce stromu. Jednoduchost je nejlepší volbou, proto chceme, aby byl stromeček malý. K tomu musíme v každém kroku zvolit rozdělení, které vede k nejjednodušším potomkům. Běžně používaná míra jednoduchosti se nazývá informace , která se měří v bitech . Pro každý uzel stromu hodnota informace „představuje očekávané číslo, které je potřeba k určení, zda by měl být nový objekt klasifikován jako ano nebo ne, za předpokladu, že příklad dosáhne tohoto uzlu“ [15] .

Zvažte příklad datové sady se čtyřmi atributy: počasí (slunečno, zataženo, déšť), teplota (horko, mírné, chladné), vlhkost (vysoká, normální) a vítr (ano, ne) s binární cílovou proměnnou (ano nebo ne) . a 14 datových bodů. Abychom vytvořili rozhodovací strom založený na těchto datech, musíme porovnat informační zisk každého ze čtyř stromů, do kterých je rozdělen podle jednoho ze čtyř znaků. Rozdělení s maximálním informačním ziskem se bere jako první rozdělení a proces pokračuje, dokud nejsou všichni potomci prvočíslí nebo dokud není informační zisk nulový.

Výsledkem rozdělení pomocí větru prvku jsou dva podřízené uzly, jeden uzel pro větrný prvek s hodnotou ano a jeden uzel s hodnotou ne . V tomto datovém souboru je šest datových bodů s hodnotou ano pro vítr , tři pro hru s cílovou hodnotou ano a tři s hodnotou ne . Osm zbývajících datových bodů pro parametr vítr s hodnotou ne obsahuje dva ne a šest ano . Informační vítr =ano uzel se vypočítá pomocí rovnice entropie výše. Protože v tomto uzlu je stejný počet ano a ne , máme

I_{E}([3,3])=-{\frac {3}{6}}\log _{2}^{}{\frac {3}{6}}-{\frac { 3}{6}}\log _{2}^{}{\frac {3}{6}}=-{\frac {1}{2}}\log _{2}^{}{\frac { 1}{2}}-{\frac {1}{2}}\log _{2}^{}{\frac {1}{2}}=1

Pro uzel s větrem =ne bylo osm datových bodů, šest s cílem ano a dva s ne . Tak máme

I_{E}([6,2])=-{\frac {6}{8}}\log _{2}^{}{\frac {6}{8}}-{\frac { 2}{8}}\log _{2}^{}{\frac {2}{8}}=-{\frac {3}{4}}\log _{2}^{}{\frac { 3}{4}}-{\frac {1}{4}}\log _{2}^{}{\frac {1}{4}}=0,8112781

Abychom našli informace o rozdělení , vypočítáme vážený průměr těchto dvou čísel na základě počtu pozorování, která spadala do každého uzlu.

{\displaystyle I_{E}([3,3],[6,2])=I_{E))

(vítr - ano nebo ne)

={\frac {6}{14}}\cdot 1+{\frac {8}{14}}\cdot 0.8112781=0.8921589

Abychom našli informační zisk rozdělení pomocí větru , musíme před rozdělením vypočítat informace v datech. Počáteční údaje obsahovaly devět ano a pět ne .

I_{E}([9,5])=-{\frac {9}{14}}\log _{2}^{}{\frac {9}{14}}-{\frac { 5}{14}}\log _{2}{\frac {5}{14}}=0,940286

Nyní můžeme vypočítat informační zisk získaný rozdělením podle atributu větru .

IG

(vítr)

=I_{E}([9,5])-I_{E}([3,3],[6,2])=0,940286-0,8921589=0,0481271

K sestavení stromu potřebujeme vypočítat informační zisk každého možného prvního rozdělení. Nejlepší první rozdělení je to, které poskytuje největší informační zisk. Tento proces se opakuje pro každý uzel (se smíšenými funkcemi), dokud není strom sestaven. Tento příklad je převzat z článku Wittena, Franka a Halla [15] .

Snížení rozptylu

Snížení rozptylu uvedené v CART [3] se často používá v případech, kdy je cílová proměnná spojitá (regresní strom), což znamená, že použití mnoha dalších metrik by před aplikací vyžadovalo vzorkování. Redukce rozptylu uzlu N je definována jako celkové snížení rozptylu cílové proměnné x v důsledku rozdělení v tomto uzlu:

I_{V}(N)={\frac {1}{|S|^{2}}}\součet _{i\in S}\součet _{j\in S}{\frac {1 }{2}}(x_{i}-x_{j})^{2}-\left({\frac {1}{|S_{t}|^{2}}}\součet _{i\in S_{t}}\součet _{j\v S_{t}}{\frac {1}{2}}(x_{i}-x_{j})^{2}+{\frac {1}{ |S_{f}|^{2}}}\součet _{i\v S_{f}}\součet _{j\v S_{f}}{\frac {1}{2}}(x_{i }-x_{j})^{2}\right)

kde a jsou množina indexů před rozdělením, množina indexů, pro které je test vyhodnocen jako pravdivý, a množina indexů, pro které je test vyhodnocen jako nepravda, v daném pořadí. Každý z výše uvedených výrazů je odhadem velikosti odchylky , i když je zapsán bez přímého odkazu na střední hodnotu. $S$ $Svatý$ $S_{f}$

Aplikace

Výhody

Kromě jiných metod analýzy dat mají rozhodovací stromy řadu výhod:

Snadno pochopitelné a interpretovatelné. Lidé jsou schopni pochopit modely rozhodovacích stromů po krátkém vysvětlení. Stromy lze graficky znázornit tak, aby byly snadno interpretovatelné, aniž byste byli odborníkem [16] .
Umí pracovat s numerickými i kvalitativními daty [16] . Ostatní technici se obvykle specializují na analýzu dat, která mají pouze jeden typ proměnné. (Například pravidla vztahů lze použít pouze s kategorickými proměnnými, zatímco neuronové sítě lze použít pouze s numerickými (kvantitativními) proměnnými nebo škálovat na hodnoty 0/1.)
Vyžaduje malou přípravu dat. Jiné techniky často vyžadují normalizaci dat. Protože stromy zvládnou kvalitativní nezávislé proměnné, není potřeba vytvářet fiktivní proměnné [16] .
Používá model bílé krabice . Pokud je daná situace v modelu pozorovatelná, lze podmínky snadno vysvětlit booleovskou logikou. Naproti tomu v modelu černé skříňky je vysvětlení výsledků obvykle obtížné pochopit, například kvůli použití umělé neuronové sítě .
Správnost modelu můžete ověřit pomocí statistických testů. To umožňuje zkontrolovat platnost modelu.
Nestatistický přístup, který nevytváří žádné předpoklady o trénovacích datech nebo predikčních rozptylech. Nejsou například stanoveny žádné předpoklady o rozložení, nezávislosti nebo stálosti rozptylu
Funguje dobře s velkými datovými sadami. Velké množství dat lze analyzovat pomocí standardních výpočetních zdrojů za rozumnou dobu.
Odrážet lidské rozhodování blíže než jiné přístupy [16] . To může být užitečné při modelování lidských rozhodnutí a lidského chování.
Odolnější vůči kolinearitě.
Podle provedeného výběru vlastností . Další neužitečné funkce budou použity v menší míře, aby mohly být odstraněny z následujících běhů.
Rozhodovací stromy lze aproximovat jakoukoliv booleovskou funkcí ekvivalentní XOR [17] .

Omezení

Stromy mohou být výrazně nestabilní. Malé změny v trénovacích datech mohou vést k významným změnám ve stromu a nakonec ke konečným predikcím [16] .
Je známo, že problém učení se optimálnímu rozhodovacímu stromu je NP-úplný s ohledem na některé otázky optimality a dokonce i pro jednoduché koncepty [18] [19] . V důsledku toho se praktické algoritmy učení rozhodovacího stromu spoléhají na heuristiku, jako je greedy algorithm , kde se pro každý uzel dělají lokální optimální rozhodnutí. Takové algoritmy nemohou zaručit globálně optimální rozhodovací strom. Pro snížení vlivu lokální optimality jsou navrženy některé metody, jako je duální informační vzdálenostní strom ( DID ) [ 20] .

Trénink rozhodovacího stromu může vytvořit příliš komplikované stromy, které se z trénovacích dat špatně zobecňují (což je známé jako overfitting [21] ). Mechanismy, jako je trimování , se stávají nezbytnými, aby se tomuto problému zabránilo (s výjimkou některých algoritmů, přístupů, jako je podmíněná inference , které nevyžadují ořez) [ 12] [13] .
Pro data, která mají kvalitativní proměnné s různým počtem úrovní , se informační zisk v rozhodovacím stromu posune směrem k atributům s vyššími úrovněmi [22] . Problém zkreslení pomocí podmíněné inference [12] , dvoufázového přístupu [23] nebo adaptivního výběru vlastností pro jednotlivé objekty [24] .

Implementace

Mnoho balíčků pro dolování dat implementuje jeden nebo více algoritmů rozhodovacího stromu.

Příklady jsou Salford Systems CART (která licencovala proprietární kód původních autorů CART) [3] , IBM SPSS Modeler , RapidMiner , SAS Enterprise Miner , Matlab , R (open source software pro statistické výpočty , která zahrnuje několik implementací CART, jako jsou balíčky rpart, party a randomForest), Weka (open source balíček pro dolování dat obsahující mnoho algoritmů rozhodovacího stromu), Orange , KNIME , Microsoft SQL Server [1] a scikit -learn (bezplatná a otevřená knihovna Pythonu pro strojové učení).

Rozšíření

Rozhodovací grafy

V rozhodovacím stromu všechny cesty od kořenového uzlu k listu procházejí spojkou ( AND ). V rozhodovacím grafu je možné pomocí disjunkce ( OR ) kombinovat cesty pomocí zprávy minimální délky ( angl. Minimum message length , MML) [25] . Rozhodovací grafy jsou dále rozšířeny o rozlišení dříve nepoužívaných atributů, které lze dynamicky trénovat a používat na různých místech grafu [26] . Obecnější schéma kódování vede k lepším předpovědím a výkonu při ztrátě protokolu. Obecně platí, že rozhodovací grafy vytvářejí modely s méně listy než rozhodovací stromy.

Alternativní metody vyhledávání

Evoluční algoritmy byly použity k eliminaci lokálních optimálních řešení a hledání rozhodovacích stromů s menším předchozím zkreslením [27] [28] .

Stromy lze zjednodušit pomocí metody Monte Carlo pro Markovovy řetězce ( Markovův řetězec Monte Carlo , MCMC) [29] .

Strom lze prohlížet zdola nahoru [30] .

Viz také

Prořezávání rozhodovacích stromů
Binární rozhodovací diagram
CHAID
VOZÍK
ID3 (algoritmus)
Algoritmus C4.5
Rozhodující pahýly , používané např. v algoritmu AdaBoost
Seznam řešení
Přírůstkové rozhodovací stromy
Prokládané rozhodovací stromy
Analýza strukturovaných dat
Logistický modelový strom
Hierarchické shlukování

Poznámky

↑ Rokach, Maimon, 2008 .
↑ Quinlan, 1986 , str. 81-106.
↑ 1 2 3 4 Breiman, Friedman, Olshen, Kámen, 1984 .
↑ Friedman, 1999 .
↑ Hastie, Tibshirani, Friedman, 2001 .
↑ Breiman, 1996 , s. 123–140.
↑ Rodriguez, Kuncheva, Alonso, 2006 , str. 1619–1630.
↑ Rivest, 1987 , s. 229–246.
↑ Letham, Rudin, McCormick, Madigan, 2015 , str. 1350–1371.
↑ Wang, Rudin, 2015 .
↑ Kass, 1980 , str. 119–127.
↑ 1 2 3 Hothorn, Horník, Zeileis, 2006 , str. 651–674.
↑ 1 2 Strobl, Malley, Tutz, 2009 , str. 323–348.
↑ Rokach, Maimon, 2005 , s. 476–487.
↑ 1 2 3 Witten, Frank, Hall, 2011 , str. 102–103.
↑ 1 2 3 4 5 Gareth, Witten, Hastie, Tibshirani, 2015 , str. 315.
↑ Mehtaa, Raghavan, 2002 , str. 609–623.
↑ Hyafil, Rivest, 1976 , str. 15–17.
↑ Murthy, 1998 .
↑ Ben-Gal, Dana, Shkolnik, Singer, 2014 , str. 133–147.
↑ Bramer, 2007 .
↑ Deng, Runger, Tuv, 2011 , str. 293–300.
↑ Brandmaier, von Oertzen, McArdle, Lindenberger, 2012 , str. 71–86.
↑ Painsky a Rosset, 2017 , str. 2142–2153.
↑ CiteSeerX . Získáno 2. ledna 2019. Archivováno z originálu dne 21. března 2008. (neurčitý)
↑ Tan & Dowe (2003) . Staženo 2. ledna 2019. Archivováno z originálu 28. května 2016. (neurčitý)
↑ Papagelis, Kalles, 2001 , str. 393–400.
↑ Barros, Basgalupp, Carvalho, Freitas, 2012 , str. 291–312.
↑ Chipman, George, McCulloch, 1998 , str. 935–948.
↑ Barros, Cerri, Jaskowiak, Carvalho, 2011 , str. 450–456.

Literatura

Lior Rokach, Maimon O. Dolování dat s rozhodovacími stromy: teorie a aplikace. - World Scientific Pub Co Inc, 2008. - ISBN 978-9812771711 .
Quinlan JR Indukce rozhodovacích stromů // Strojové učení. - Kluwer Academic Publishers, 1986. - Sv. 1 . - S. 81-106 .
Leo Breiman, Friedman JH, Olshen RA, Stone CJ Klasifikace a regresní stromy. - Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software, 1984. - ISBN 978-0-412-04841-8 .
Friedman JH Stochastic zesílení gradientu . — Stanfordská univerzita, 1999.
Hastie T., Tibshirani R., Friedman JH Prvky statistického učení: Dolování dat, inference a predikce. — 2. - New York: Springer Verlag, 2001. - (Springer Series ve statistice). - ISBN 978-0-387-84857-0 .
Breiman L. Předpovědi pytlování // Strojové učení. - 1996. - T. 24 , no. 2 . - doi : 10.1007/BF00058655 .
Rodriguez JJ, Kuncheva LI, Alonso CJ Rotační les: Nová metoda souboru klasifikátorů // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2006. - T. 28 , no. 10 . - doi : 10.1109/TPAMI.2006.211 . — PMID 16986543 .
Ron Rivest. Seznamy rozhodnutí o učení // Strojové učení. - 1987. - Listopad ( díl 3 , číslo 2 ). - doi : 10.1023/A:1022607331053 .
Ben Letham, Cynthia Rudin, Tyler McCormick, David Madigan. Interpretovatelné klasifikátory pomocí pravidel a Bayesovské analýzy: Sestavení lepšího modelu predikce zdvihu // Annals of Applied Statistics. - 2015. - T. 9 , no. 3 . - doi : 10.1214/15-AOAS848 . - arXiv : 1511.01644 .
Fulton Wang, Cynthia Rudin. Falling Rule Lists // Journal of Machine Learning Research. - 2015. - T. 38 .
Kass G.V. - 1980. - T. 29 , no. 2 . - doi : 10.2307/2986296 . — .
Hothorn T., Hornik K., Zeileis A. Unbiased Recursive Partitioning: A Conditional Inference Framework // Journal of Computational and Graphical Statistics. - 2006. - T. 15 , no. 3 . - doi : 10.1198/106186006X133933 . — .
Strobl C., Malley J., Tutz G. Úvod do rekurzivního dělení: Zdůvodnění, aplikace a charakteristiky klasifikačních a regresních stromů, pytlování a náhodných lesů // Psychologické metody. - 2009. - T. 14 , no. 4 . - doi : 10.1037/a0016973 . — PMID 19968396 .
Rokach L., Maimon O. Indukce klasifikátorů rozhodovacích stromů shora dolů – přehled // Transakce IEEE o systémech, člověku a kybernetice, část C. - 2005. - svazek 35 , č. 4 . - doi : 10.1109/TSMCC.2004.843247 .
Ian Witten, Eibe Frank, Mark Hall. data mining. - Burlington, MA: Morgan Kaufmann, 2011. - ISBN 978-0-12-374856-0 .
Max Bramer. Principy dolování dat. - Springer-Verlag, 2007. - (Pregraduální témata informatiky). — ISBN 978-1-84628-765-7 . - doi : 10.1007/978-1-84628-766-4 .
James Gareth, Daniela Witten, Trevor Hastie, Robert Tibshirani. Úvod do statistického učení. — New York: Springer, 2015. — ISBN 978-1-4614-7137-0 .
Dinesh Mehtaa, Vijay Raghavan. Aproximace rozhodovacího stromu booleovských funkcí // Teoretická informatika. - 2002. - T. 270 , čís. 1–2 . — S. 609–623 . - doi : 10.1016/S0304-3975(01)00011-1 .
Laurent Hyafil, Rivest RL Konstruování optimálních binárních rozhodovacích stromů je NP-kompletní // Information Processing Letters. - 1976. - V. 5 , čís. 1 . — S. 15–17 . - doi : 10.1016/0020-0190(76)90095-8 .
Murthy S. Automatická konstrukce rozhodovacích stromů z dat: multidisciplinární průzkum // Data Mining and Knowledge Discovery. — 1998.

Irad Ben-Gal, Alexandra Dana, Niv Shkolnik, Gonen Singer. Efektivní konstrukce rozhodovacích stromů metodou duální informační vzdálenosti // Technologie kvality a kvantitativní řízení. - 2014. - T. 11 , no. 1 . — s. 133–147 .
Deng H., Runger G., Tuv E. Míry zkreslení důležitosti pro vícehodnotové atributy a řešení // Sborník příspěvků z 21. mezinárodní konference o umělých neuronových sítích (ICANN) . - 2011. - S. 293-300.
Andreas M. Brandmaier, Timo von Oertzen, John J. McArdle, Ulman Lindenberger. Stromy modelů strukturních rovnic. // Psychologické metody. - 2012. - T. 18 , no. 1 . — s. 71–86 . - doi : 10.1037/a0030001 . — PMID 22984789 .
Amichai Painsky, Saharon Rosset. Křížově ověřený výběr proměnných v metodách založených na stromech zlepšuje prediktivní výkon // Transakce IEEE při analýze vzorů a strojové inteligenci. - 2017. - T. 39 , č. 11 . — S. 2142–2153 . - doi : 10.1109/TPAMI.2016.2636831 . — PMID 28114007 .
Papagelis A., Kalles D. Šlechtění rozhodovacích stromů pomocí evolučních technik // Sborník z 18. mezinárodní konference o strojovém učení, 28. června – 1. července 2001. - 2001. - S. 393-400.
Rodrigo C. Barros, poslanec Basgalupp, Carvalho ACPLF, Alex A. Freitas. Přehled evolučních algoritmů pro indukci rozhodovacího stromu // IEEE transakce v systémech, člověku a kybernetice. - 2012. - T. 42 , č. 3 . — S. 291–312 . – doi : 10.1109/TSMCC.2011.2157494 .
Hugh A. Chipman, Edward I. George, Robert E. McCulloch. Bayesian CART model search // Journal of the American Statistical Association. - 1998. - T. 93 , no. 443 . — S. 935–948 . - doi : 10.1080/01621459.1998.10473750 .
Barros RC, Cerri R., Jaskowiak PA, Carvalho ACPLF Algoritmus indukce šikmého rozhodovacího stromu zdola nahoru // Sborník příspěvků z 11. mezinárodní konference o navrhování a aplikacích inteligentních systémů (ISDA 2011). - 2011. - S. 450-456. — ISBN 978-1-4577-1676-8 . - doi : 10.1109/ISDA.2011.6121697 .

Čtení pro další čtení

Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. Stromové metody // Úvod do statistického učení: s aplikacemi v R. - New York: Springer, 2017. - s. 303–336. — ISBN 978-1-4614-7137-0 .

Odkazy

Stavební rozhodovací stromy v Pythonu od O'Reilly.
Dodatek k „Vytváření rozhodovacích stromů v Pythonu“ od O'Reillyho.
Výuka rozhodovacích stromů pomocí aplikace Microsoft Excel.
Stránka rozhodovacích stromů na aitopics.org , stránka s komentovanými odkazy.
Implementace rozhodovacího stromu v Ruby (AI4R)
Hluboký rozhodovací strom | Implementace
Evoluční učení rozhodovacích stromů v C++
Java implementace rozhodovacích stromů na základě informačního zisku
Velmi podrobné vysvětlení informačního zisku jako rozdělovacího kritéria

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-Net Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG