Ensemble of Methods (strojové učení)

Soubor metod ve statistice a strojovém učení využívá více trénovaných algoritmů k dosažení lepšího prediktivního výkonu než by bylo možné získat z každého trénovacího algoritmu samostatně [1] [2] [3] . Na rozdíl od statistického souboru ve statistické mechanice, který je obvykle nekonečný, soubor metod ve strojovém učení sestává ze specifické konečné sady alternativních modelů, ale obvykle umožňuje existenci mnohem flexibilnějších struktur.

Přehled

Algoritmy řízeného učení se nejčastěji popisují jako řešení problému nalezení vhodné hypotézy v prostoru hypotéz – takové, která poskytuje dobré předpovědi pro konkrétní problém. Ale najít dobrou hypotézu může být obtížný úkol. Soubor metod používá kombinaci několika hypotéz v naději, že to bude lepší než samotné hypotézy. Termín soubor je obvykle vyhrazen pro metody, které generují více hypotéz se stejným základním učitelem.[ co? ] . Širší pojem vícenásobného klasifikátorového systému také používá více hypotéz, ale negenerovaných stejným učitelem. .

Výpočet předpovědi souboru obvykle vyžaduje více výpočtů než předpovídání jednoho modelu, takže soubory lze považovat za způsob, jak kompenzovat špatný algoritmus učení pomocí dalších výpočtů. Ensemble metody obvykle používají rychlé algoritmy, jako jsou rozhodovací stromy (např. náhodné lesy ), ačkoli pomalé algoritmy mohou také těžit z technik sestavování souborů.

Analogicky se technika sestavení souboru používá také ve scénářích učení bez dozoru , jako je shlukování konsensu detekce anomálií .

Teorie souborů

Samotný soubor je algoritmem učení pod dohledem, protože jej lze trénovat a poté použít k předpovědi. Trénovaný soubor tedy představuje jednu hypotézu. Tato hypotéza však nemusí nutně ležet v prostoru hypotéz modelů, ze kterých je postavena. Soubory tak mohou mít velkou flexibilitu ve funkcích, které mohou zastupovat. Tato flexibilita je teoreticky může vést k tomu, že se trénovací data přeplní rychleji, než by to dokázal jediný model, ale v praxi mají některé techniky sestavování souborů (zejména pytlování ) tendenci snižovat problémy spojené s přeplňováním trénovacích dat.

Empiricky mají soubory tendenci podávat lepší výkony, pokud je mezi modely významný rozdíl [4] [5] . Mnoho souborů metod se proto snaží zvýšit rozdíl v modelech, které kombinují [6] [7] . Ačkoli možná neintuitivní, více náhodných algoritmů (jako náhodné rozhodovací stromy) lze použít k vytvoření těsnějších souborů než dobře promyšlené algoritmy (jako rozhodovací stromy redukce entropie) [8] . Ukázalo se však, že použití různých rigorózních algoritmů učení je efektivnější než použití technik, které se pokoušejí zjednodušit modely za účelem většího rozlišení [9] .

Velikost souboru

Zatímco počet klasifikátorů v souboru má velký vliv na přesnost predikce, existuje pouze omezený počet prací, které se zabývají tímto problémem. Určení a priori velikosti souboru a velikosti rychlosti velkých datových toků činí tento faktor ještě kritičtějším pro online soubory klasifikátorů. Většina statistických testů byla použita ke stanovení vhodného počtu komponent. V poslední době teoretický rámec dal vzniknout předpokladu, že v souboru je ideální počet klasifikátorů, takže počet klasifikátorů větší nebo menší než tento ideální počet vede ke zhoršení přesnosti. Tomu se říká „zákon klesajících výnosů ve výstavbě souboru“. Tento teoretický rámec ukazuje, že použití počtu nezávislých klasifikátorů rovnajícího se počtu štítků tříd poskytuje nejvyšší přesnost [10] [11] .

Běžně používané typy souborů

Bayesovský optimální klasifikátor

Bayesovský optimální klasifikátor je klasifikační technika. Je to soubor všech hypotéz z prostoru hypotéz. V průměru jej žádný ze souborů nemůže překročit [12] . Jednoduchý bayesovský optimální klasifikátor je verze, která předpokládá, že data jsou podmíněně nezávislá na třídě a provádí výpočty ve více reálném čase. Každé hypotéze je přidělen hlas úměrný pravděpodobnosti, že by trénovací data byla vybrána ze systému, pokud by byla hypotéza pravdivá. Pro získání trénovacích dat konečné velikosti se hlas každé hypotézy vynásobí předchozí pravděpodobností dané hypotézy. Bayesovský optimální klasifikátor lze vyjádřit následující rovností:

,

kde predikovaná třída je množina všech možných tříd, je třída hypotéz, odkazuje na pravděpodobnost a jsou trénovací data. Jako soubor představuje Bayesovský optimální klasifikátor hypotézu, která nemusí nutně patřit do . Hypotéza reprezentovaná bayesovským optimálním klasifikátorem je však optimální hypotézou v prostoru souborů (prostor všech možných souborů sestávající pouze z prostorových hypotéz ).

Vzorec lze přepsat pomocí Bayesova teorému , který říká, že zadní pravděpodobnost je úměrná předchozí pravděpodobnosti:

kde

Pytlování

Bootstrap aggregation, často zkrácený na bagging , dává každému modelu v souboru stejnou váhu (hlas). Aby se zachovala variabilita, pytlování trénuje každý model v souboru náhodně vybranou podmnožinou cvičné sady. Například algoritmus náhodného lesa kombinuje náhodné rozhodovací stromy s pytlováním pro získání vysoké přesnosti klasifikace [13] .

Posílení

Boosting vytváří soubor v postupných krocích trénováním každého nového modelu, aby se zvýraznily tréninkové případy, které předchozí modely špatně klasifikovaly. V některých případech bylo prokázáno, že posilování poskytuje lepší výsledky než pytlování, ale má tendenci přehnat tréninková data. Nejběžnější implementací zesílení je algoritmus AdaBoost , ačkoli některé novější algoritmy údajně poskytují lepší výsledky.

Bayesovské průměrování

Bayesovské průměrování parametrů (BPA) je technika sestavování souboru  , která se pokouší aproximovat Bayesovský optimální klasifikátor vzorkováním z prostoru hypotéz a jejich kombinací pomocí Bayesova zákona [14] . Na rozdíl od bayesovského optimálního klasifikátoru lze bayesovský model průměrování prakticky implementovat. Hypotézy se obvykle vybírají pomocí techniky Monte Carlo , jako je MCMC . Například Gibbsovo vzorkování lze použít k vzorkování hypotéz, které představují rozdělení . Ukázalo se, že za určitých okolností, pokud jsou hypotézy zvoleny tímto způsobem a zprůměrovány podle Bayesova zákona, má tato technika očekávanou chybu, která je omezena na dvojnásobek očekávané chyby Bayesovského optimálního klasifikátoru [15] . Navzdory teoretické správnosti této techniky bylo v raných pracích na základě experimentálních dat navrženo, že metoda je náchylná k přemontování a chová se hůře než jednoduché techniky montáže kompletů, jako je pytlování [16] . Tyto závěry však vycházely z nepochopení účelu Bayesovského modelu průměrování pro kombinaci modelů [17] . Kromě toho existují významné výhody v teorii a praxi BMA. Nedávné rigorózní důkazy ukazují přesnost BMA pro výběr a odhad proměnných za vícerozměrných podmínek [18] a poskytují empirický důkaz o zásadní roli poskytování řídkosti v BMA při zmírňování nadměrného vybavení [19] .

Kombinace Bayesovských modelů

Bayesiánská modelová kombinace (BMC) je algoritmická korekce průměrování Bayesovského modelu ( BMA ) .  Namísto individuálního výběru každého modelu v souboru, algoritmus vybírá z prostoru možných souborů (s modelovými váhami náhodně vybranými z Dirichletova rozdělení s jednotnými parametry). Tato úprava zabraňuje tendenci nákladního výtahu dávat plnou váhu jednoho modelu. I když je CBM výpočetně poněkud plýtvavější než MBM, poskytuje výrazně lepší výsledky. Výsledky BMS se ukázaly být v průměru lepší než BMS a pytlování [20] .  

Použití Bayesova zákona k výpočtu vah modelů nevyhnutelně vyžaduje výpočet pravděpodobnosti dat pro každý model. Typicky žádný z modelů v souboru nemá přesně stejnou distribuci jako trénovací data, ze kterých byly generovány, takže všechny členy správně získají hodnotu blízkou nule. To by fungovalo dobře, pokud by soubor byl dostatečně velký, aby vzorkoval z celého modelového prostoru, ale to je zřídka možné. Každý člen cvičné množiny tedy způsobí, že se hmotnost souboru posune směrem k modelu v souboru, který je nejblíže distribuci trénovacích dat. To podstatně snižuje potřebu příliš složité metody výběru modelu.

Možné hmotnosti pro soubor mohou být reprezentovány jako ležící na simplexu. V každém vrcholu simplexu jsou všechny váhy dány samostatným souborovým modelem. BMA konverguje k vrcholu, který je distribucí blíže trénovacím datům. Naproti tomu KBM konverguje do bodu, kdy se tato distribuce promítá do simplexu. Jinými slovy, namísto výběru jednoho modelu, který je nejbližší distribuci, metoda hledá kombinaci modelů, která je distribuci nejblíže.

Výsledky BMA lze často aproximovat pomocí křížové validace pro výběr modelu ze skupiny modelů. Podobně lze výsledky KBM aproximovat křížovou validací pro výběr nejlepší kombinace souborů z náhodného vzorku možných vah.

Model lopaty

Bucket of models je technika sestavování souboru  , která využívá algoritmus výběru modelu k získání nejlepšího modelu pro každý problém. Když je testována pouze jedna úloha, skupina modelů nemusí fungovat lépe než nejlepší model v sadě, avšak v případě běhu pro několik úloh dává algoritmus obvykle lepší výsledky než jakýkoli model v sadě.

Nejběžnějším přístupem používaným pro výběr modelu je křížové vzorkování. Je popsána následujícím pseudokódem:

Pro každý model v kbelíku: Spustit c krát: (kde 'c' je nějaká konstanta) Náhodně rozdělíme tréninková data do dvou sad: A a B. Vlak m na A Kontrola m proti B Vyberte model, který bude vykazovat nejvyšší průměrný výsledek

Křížové vzorkování lze popsat jako: „proběhněte vše na tréninkové sadě a vyberte tu, která funguje nejlépe“ [21] .

Gating je  zobecnění křížového vzorkování. Tato metoda zahrnuje trénování jiného modelu učení, aby se rozhodlo, který z modelů v kbelíku je pro řešení problému nejlepší. Často se k izolaci modelu používá perceptron . Lze jej použít k výběru „nejlepšího“ modelu nebo jej lze použít k získání lineární váhy pro předpovědi z každého modelu v kbelíku.

Když se skupina modelů používá s velkou sadou úkolů, může být žádoucí vyhnout se trénování některých modelů, které vyžadují dlouhou dobu školení. Orientační učení je meta-learningový přístup, který se snaží tento problém vyřešit. Trénuje pouze rychlé (ale nepřesné) algoritmy a poté využívá výkon těchto algoritmů k určení, který z pomalých (ale přesných) algoritmů vybrat jako nejlepší [22] .

Stohování

Skládání (někdy nazývané zobecnění zásobníku ) zahrnuje trénování učebního algoritmu, který kombinuje předpovědi několika dalších učebních algoritmů. Nejprve jsou všechny ostatní algoritmy trénovány s platnými daty, poté jsou trénovány kombinační algoritmy, aby vytvořily konečnou předpověď s predikcemi všech ostatních algoritmů jako dalším vstupem. Pokud je použit libovolný kombinační algoritmus, pak stohování může teoreticky reprezentovat kteroukoli ze souborových technik popsaných v tomto článku, i když v praxi se jako nástroj pro kombinační algoritmus často používá model logistické regrese .

Stacking obecně poskytuje lepší výkon než kterýkoli z tréninkových vzorů samotný [23] . Úspěšně se používá jak při problémech s kontrolovaným učením (regrese [24] , klasifikace a distanční vzdělávání [25] ), tak při problémech s učením bez dozoru (odhad hustoty) [26] . Byl také použit k odhadu chyby pytlování [3] [27] . Tvrdilo se, že metoda překonává Bayesovský model průměrování [28] . Dva vítězové soutěže Netflix používají blending , což lze považovat za formu skládání [29] .

Implementace ve statistických balíčcích

Ensemble Learning Applications

V posledních letech, díky rostoucímu výpočetnímu výkonu umožňujícímu trénovat velké tréninkové tréninkové soubory v rozumném čase, počet aplikací rychle roste [35] . Některé z aplikací klasifikátorových souborů jsou uvedeny níže.

Dálkový průzkum Země

Odraz vegetace

Odraz vegetace je jednou z hlavních aplikací pozorování Země , využívající dálkový průzkum Země a geografická data k rozpoznání objektů, které se nacházejí na povrchu cílových oblastí. Typicky cílové třídy materiálů zahrnují silnice, budovy, řeky, jezera a vegetaci [36] . Bylo navrženo několik různých přístupů pro trénování souborů založených naumělých neuronových sítích [37] , analýze hlavních komponent jádra ( KPCA ) [38] , zesílených rozhodovacích stromech [ 39] , náhodných lesích [36] a automatickém vytváření několika klasifikátorů. systémy [40] pro efektivní rozpoznávání objektů vegetačního krytu .  

Detekce změn

Detekce změn je úloha analýzy obrazu , která sestává z identifikace míst, kde se vegetační kryt v průběhu času měnil. Detekce změn je široce používána v oblastech, jako je růst měst , dynamika změn lesů a vegetace , využívání půdy a detekce přírodních katastrof [41] . Časné aplikace souborů klasifikátorů při určování změn byly vyvinuty pomocí většinového hlasování , Bayesovského průměru a zadního maximálního odhadu [42] .

Ochrana počítače

DoS útok

Distribuovaný útok odmítnutí služby je jedním z nejhrozivějších kybernetických útoků , které se mohou stát poskytovateli internetových služeb [35] . Kombinací výstupu jednotlivých klasifikátorů soubor klasifikátorů snižuje celkovou chybu při detekci a oddělení takových útoků od legitimních flash mobů [43] .

Detekce malwaru

Klasifikace malwarových kódů , jako jsou počítačové viry , červi , trojské koně , ransomware a spyware pomocí technik strojového učení , je inspirována úlohou kategorizace dokumentů [44] . Ensemble learningové systémy prokázaly v této oblasti robustní výkon [45] [46] .

Detekce narušení

Systém detekce narušení sleduje počítačovou síť nebo počítače a identifikuje kódy narušení, podobně jako proces detekce anomálií . Školení v souboru bylo úspěšné v pomoci takovým systémům snížit celkový počet chyb [47] [48] .

Rozpoznávání obličeje

Rozpoznávání obličeje , které se v poslední době stalo nejoblíbenější oblastí výzkumu v rozpoznávání vzorů , se zabývá identifikací nebo ověřením osoby z jejího digitálního obrazu [49] .

Hierarchické soubory založené na klasifikátoru Gabor Fischer a technikách předzpracování dat v analýze nezávislých komponent jsou některé rané soubory používané v této oblasti [50] [51] [52] .

Rozpoznávání emocí

Zatímco rozpoznávání řeči je založeno hlavně na hlubokém učení , protože většina průmyslových hráčů v této oblasti, jako je Google , Microsoft a IBM , jej používá jako základ technologie rozpoznávání řeči , rozpoznávání emocí na základě konverzace [ může fungovat uspokojivě. 53] [54] .

Metoda byla také úspěšně použita při rozpoznávání emocí obličeje [55] [56] [57] .

Detekce podvodů

Detekce podvodů se zabývá identifikací bankovních podvodů , jako je praní špinavých peněz , podvody s platebními kartami a telekomunikační podvody. Detekce podvodů má široký prostor pro výzkum a aplikaci strojového učení . Protože souborové učení zlepšuje robustnost normálního simulačního chování, bylo navrženo jako účinná technika pro odhalování takových případů podvodů a podezřelých bankovních aktivit v systémech kreditních karet [58] [59] .

Finanční rozhodnutí

Přesnost předpovídání komerčního selhání je kritickým problémem při přijímání finančních rozhodnutí, proto byly navrženy různé soubory klasifikátorů pro předpovídání finančních krizí a finančních kolapsů [60] . Také v problému manipulace založené na nabídkách , kdy se obchodníci pokoušejí manipulovat ceny akcií nákupem nebo prodejem, je vyžadován soubor klasifikátorů, aby analyzovali změny v datech akciového trhu a identifikovali příznaky podezřelé manipulace s cenami akcií [60] .

Medicína

Klasifikační systém byl úspěšně aplikován v neurovědách , proteomice a lékařské diagnostice , jako je rozpoznávání neurokognitivních poruch (tj. Alzheimerova choroba nebo myotonická dystrofie ) na základě dat z magnetické rezonance [61] [62] [63] nebo klasifikační cervikální cytologie na základě mikroskopie [64] [65] .

Viz také

  • Průměrování souboru (strojové učení)
  • Bayesian Structural Time Series (BSTS)

Poznámky

  1. ↑ Opitz, Maclin, 1999 , str. 169-198.
  2. ↑ Polikar, 2006 , str. 21-45.
  3. ↑ 1 2 Rokach, 2010 , s. 1-39.
  4. ↑ Kuncheva, Whitaker, 2003 , s. 181-207.
  5. ↑ Sollich a Krogh 1996 , s. 190-196, 1996.
  6. ↑ Brown, Wyatt, Harris, Yao, 2005 , str. 5-20.
  7. ↑ Adeva, Cerviño, Calvo, 2005 .
  8. ↑ Ho, 1995 , str. 278-282.
  9. ↑ Gashler, Giraud-Carrier, Martinez, 2008 , str. 900-905.
  10. ↑ Bonab, Can, 2016 , str. 2053.
  11. ↑ Bonab, Can, 2017 .
  12. ↑ Mitchell, 1997 , str. 175.
  13. ↑ Breiman, 1996 , s. 123-140.
  14. ↑ Hoeting, Madigan, Raftery, Volinsky, 1999 , s. 382–401.
  15. ↑ Haussler, Kearns, Schapire, 1994 , str. 83–113.
  16. ↑ Domingos, 2000 , str. 223–230.
  17. ↑ Minka, 2002 .
  18. ↑ Castillo, Schmidt-Hieber, van der Vaart, 2015 , str. 1986–2018
  19. ↑ Hernandez-Lobato, Hernandez-Lobato, Dupont, 2013 , str. 1891–1945
  20. ↑ Monteith, Carroll, Seppi, Martinez, 2011 , str. 2657-2663.
  21. ↑ Dzeroski, Zenko, 2004 , str. 255-273.
  22. ↑ Bensusan, Giraud-Carrier, 2000 , str. 325-330.
  23. ↑ Wolpert, 1992 , str. 241-259.
  24. ↑ Breiman, 1996 .
  25. ↑ Ozay, Vural, 2013 .
  26. ↑ Smyth, Wolpert, 1999 , str. 59-83.
  27. ↑ Wolpert, Macready, 1999 , str. 41-55.
  28. ↑ Clarke, 2003 , str. 683-712.
  29. ↑ Sill, Takacs, Mackey, Lin, 2009 .
  30. ↑ Amini, Parmeter, 2011 , str. 253–287.
  31. ↑ BMS: Bayesian Model Averaging Library . Komplexní archivní síť R . Získáno 9. září 2016. Archivováno z originálu dne 28. listopadu 2020.
  32. ↑ BAS: Bayesian Model Averaging using Bayesian Adaptive Sampling . Komplexní archivní síť R . Získáno 9. září 2016. Archivováno z originálu dne 7. října 2020.
  33. ↑ BMA: Bayesian Model Averaging . Komplexní archivní síť R . Získáno 9. září 2016. Archivováno z originálu 7. května 2021.
  34. ↑ Klasifikační soubory . MATLAB a Simulink . Získáno 8. června 2017. Archivováno z originálu 1. prosince 2020.
  35. ↑ 1 2 Woźniak, Graña, Corchado, 2014 , str. 3–17.
  36. ↑ 1 2 Rodriguez-Galiano, Ghimire, Rogan a kol., 2012 , s. 93–104.
  37. ↑ Giacinto, Roli, 2001 , str. 699–707.
  38. ↑ Xia, Yokoya, Iwasaki, 2017 , str. 6185-6189.
  39. ↑ Mochizuki, Murakami, 2012 , str. 126-133.
  40. ↑ Giacinto, Roli, Fumera, 2000 , str. 160-163.
  41. ↑ Du, Liu, Xia, Zhao, 2013 , str. 19–27.
  42. ↑ Bruzzone, Cossu, Vernazza, 2002 , str. 289–297.
  43. ↑ Raj Kumar, Selvakumar, 2011 , str. 1328–1341.
  44. ↑ Shabtai, Moskovitch, Elovici, Glezer, 2009 , str. 16–29.
  45. ↑ Zhang, Yin, Hao, Zhang, Wang, 2007 , str. 468-477.
  46. ↑ Menahem, Shabtai, Rokach, Elovici, 2009 , str. 1483–1494
  47. ↑ Locasto, Wang, Keromytis, Salvatore, 2005 , str. 82-101.
  48. ↑ Giacinto, Perdisci, Del Rio, Roli, 2008 , str. 69–82.
  49. ↑ Mu, Lu, Watta, Hassoun, 2009 .
  50. ↑ Yu, Shan, Chen, Gao, 2006 , str. 91-96.
  51. ↑ Yu, Shan, Chen, Gao, 2006 , str. 528-531.
  52. ↑ Liu, Lin, Chen, 2008 , str. 144-148.
  53. ↑ Rieger, Muraleedharan, Ramachandran, 2014 , str. 589-593.
  54. ↑ Krajewski, Batliner, Kessel, 2010 , str. 3716-3719.
  55. ↑ Rani, Muneeswaran, 2016 , str. 10017–10040.
  56. ↑ Rani, Muneeswaran, 2016 , str. 1655020.
  57. ↑ Rani, Muneeswaran, 2018 .
  58. ↑ Louzada, Ara, 2012 , str. 11583–11592.
  59. ↑ Sundarkumar, Ravi, 2015 , str. 368–377.
  60. ↑ 1 2 Kim a Sohn, 2012 , str. 8986–8992.
  61. ↑ Savio, García-Sebastián, Chyzyk et al., 2011 , str. 600–610.
  62. ↑ Ayerdi, Savio, Graña, 2013 , str. 122-130.
  63. ↑ Gu, Ding, Zhang, 2015 , str. 110–118.
  64. ↑ Dan Xue, Xiaomin Zhou, Chen Li, Yudong Yao, Md Mamunur Rahaman. Aplikace transferového učení a technik souborového učení pro klasifikaci obrazu cervikální histopatologie  // IEEE Access. - 2020. - T. 8 . — S. 104603–104618 . — ISSN 2169-3536 . - doi : 10.1109/ACCESS.2020.2999816 . Archivováno z originálu 31. srpna 2021.
  65. ↑ Ankur Manna, Rohit Kundu, Dmitrii Kaplun, Alexander Sinitca, Ram Sarkar. Soubor modelů CNN pro klasifikaci cervikální cytologie založený na fuzzy pořadí  //  Scientific Reports. — 2021–12. — Sv. 11 , iss. 1 . — S. 14538 . — ISSN 2045-2322 . - doi : 10.1038/s41598-021-93783-8 . Archivováno z originálu 31. srpna 2021.

Literatura

  • Opitz D., Maclin R. Populární metody souboru: Empirická studie // Journal of Artificial Intelligence Research . - 1999. - T. 11 . - S. 169-198 . - doi : 10.1613/jair.614 .
  • Polikar R. Ensemble založené systémy v rozhodování // IEEE Circuits and Systems Magazine. - 2006. - T. 6 , no. 3 . - S. 21-45 . - doi : 10.1109/MCAS.2006.1688199 .
  • Rokach L. Ensemble-based classifiers // Artificial Intelligence Review. - 2010. - T. 33 , no. 1-2 . - doi : 10.1007/s10462-009-9124-7 .
  • Kuncheva L., Whitaker C. Míry diverzity v souborech klasifikátorů a jejich vztah s přesností souboru // Machine Learning. - 2003. - T. 51 , no. 2 .
  • Sollich P., Krogh A. Učení se soubory: Jak může být užitečné přemontování // Pokroky v systémech zpracování neuronových informací. - 1996. - T. 8 .
  • Brown G., Wyatt J., Harris R., Yao X. Metody vytváření diverzity: průzkum a kategorizace // Information Fusion. - 2005. - T. 6 , no. 1 .
  • JJ Garcia Adeva, Ulises Cerviño, R. Calvo. Přesnost a rozmanitost v souborech textových kategorií  // CLEI Journal. - 2005. - Prosinec ( díl 8 , číslo 2 ). Archivováno z originálu 7. července 2011.
  • Ho T. Lesy s náhodným rozhodnutím // Sborník příspěvků ze třetí mezinárodní konference o analýze a uznávání dokumentů. — 1995.
  • Gashler M., Giraud-Carrier C., Martinez T. Soubor rozhodovacího stromu: Malý heterogenní je lepší než velký homogenní // Sedmá mezinárodní konference o strojovém učení a aplikacích . - 2008. - doi : 10.1109/ICMLA.2008.154 .
  • Hamed R. Bonab, Fazli Can. Teoretický rámec ideálního počtu klasifikátorů pro online soubory v datových tocích // 25. konference o správě informací a znalostí . — USA: ACM, 2016. — doi : 10.1145/2983323.2983907 .
  • Hamed R. Bonab, Fazli Can. Méně je více: Komplexní rámec pro počet komponent klasifikátorů Ensemble // Transakce IEEE na neuronových sítích a výukových systémech 2017 . USA: IEEE, 2017.
  • Tom M. Mitchell . strojové učení. - McGraw-Hill Science/Engineering/Math, 1997. - ISBN 0070428077 .
  • Breiman, L. Předpovědi pytlování // Strojové učení. - 1996. - T. 24 , no. 2 .
  • Hoeting JA, Madigan D., Raftery AE, Volinsky CT průměrování Bayesiánského modelu: Návod // Statistická věda. - 1999. - T. 14 , no. 4 . - doi : 10.2307/2676803 . — .
  • David Haussler, Michael Kearns, Robert E. Schapire. Vazba na vzorovou složitost Bayesovského učení pomocí teorie informace a dimenze VC // Machine Learning. - 1994. - T. 14 .
  • Pedro Domingos. Bayesovské průměrování klasifikátorů a problém overfittingu // Sborník příspěvků ze 17. mezinárodní konference o strojovém učení (ICML) . - 2000. - S. 223--230.
  • Tomáš Minka. Průměrování Bayesovského modelu není kombinací modelů . — 2002.
  • Castillo I., Schmidt-Hieber J., van der Vaart A. Bayesovská lineární regrese s řídkými priory // Annals of Statistics . - 2015. - T. 43 , č. 5 . - doi : 10.1214/15-AOS1334 . - arXiv : 1403.0735 .
  • Hernández-Lobato D., Hernández-Lobato JM, Dupont P. Generalized Spike-and-Slab Priors for Bayesian Group Feature Selection using Expectation Propagation  // Journal of Machine Learning Research. - 2013. - T. 14 .
  • Turning Bayesian Model Averaging to Bayesian Model Combination // Sborník z mezinárodní společné konference o neuronových sítích IJCNN'11 . - 2011. - S. 2657-2663.
  • Saso Dzeroski, Bernard Zenko. Je kombinování klasifikátorů lepší než výběr toho nejlepšího  // Strojové učení. — 2004.
  • Hilan Bensusan, Christophe G. Giraud-Carrier. Discovering Task Neighborhoods Through Landmark Learning Performances // PKDD '00: Sborník příspěvků ze 4. evropské konference o principech dolování dat a získávání znalostí. — Springer-Verlag, 2000.
  • Smyth P., Wolpert DH Lineární kombinování odhadů hustoty pomocí stohování // Machine Learning Journal. - 1999. - T. 36 .
  • Wolpert DH, Macready WG Efektivní metoda pro odhad chyby zobecnění pytlování // Machine Learning Journal. - 1999. - T. 35 .
  • Clarke B. Bayes modeluje průměrování a skládání, když chybu aproximace modelu nelze ignorovat // Journal of Machine Learning Research. — 2003.
  • Wolpert D. Stacked Generalization // Neuronové sítě. - 1992. - V. 5 , čís. 2 .
  • Breiman L. Stacked Regression // Machine Learning. - 1996. - T. 24 . - doi : 10.1007/BF00117832 .
  • Ozay M., Yarman Vural FT Nová fuzzy složená generalizační technika a analýza jejího výkonu. - 2013. - . - arXiv : 1204.0171 .
  • Sill J., Takacs G., Mackey L., Lin D. Feature-Weighted Linear Stacking. - 2009. - . - arXiv : 0911.0460 .
  • Shahram M. Amini, Christopher F. Parmeter. Bayesovský model průměrování v R  // Journal of Economic and Social Measurement. - 2011. - T. 36 , č. 4 .
  • Michał Woźniak, Manuel Graña, Emilio Corchado. Přehled vícenásobných klasifikačních systémů jako hybridních systémů // Information Fusion. - 2014. - Březen ( vol. 16 ). - doi : 10.1016/j.inffus.2013.04.006 .
  • Rodriguez-Galiano VF, Ghimire B., Rogan J., Chica-Olmo, M., Rigol-Sanchez JP Hodnocení účinnosti náhodného lesního klasifikátoru pro klasifikaci krajinného pokryvu // ISPRS Journal of Photogrammetry and Remote Sensing. - 2012. - T. 67 . - doi : 10.1016/j.isprsjprs.2011.11.002 . — .
  • Giorgio Giacinto, Fabio Roli. Návrh souborů efektivních neuronových sítí pro účely klasifikace obrazu // Image and Vision Computing. - 2001. - Srpen ( díl 19 , číslo 9-10 ). - doi : 10.1016/S0262-8856(01)00045-2 .
  • Junshi Xia, Naoto Yokoya, Yakira Iwasaki. Nový souborový klasifikátor hyperspektrálních a LiDAR dat využívajících morfologické vlastnosti // Mezinárodní konference IEEE o akustice, zpracování řeči a signálů (ICASSP) 2017. - 2017. - Březen. - doi : 10.1109/ICASSP.2017.7953345 .
  • Mochizuki S., Murakami T. Porovnání přesnosti mapování krajinného pokryvu pomocí objektově orientované klasifikace obrazu s algoritmy strojového učení // 33. asijská konference o dálkovém průzkumu Země 2012, ACRS 2012. - 2012. - listopad ( vol. 1 ).
  • Giacinto G., Roli F., Fumera G. Návrh efektivních vícenásobných klasifikačních systémů pomocí shlukování klasifikátorů // Sborník příspěvků 15. mezinárodní konference o rozpoznávání vzorů. ICPR-2000. - 2000. - září. - doi : 10.1109/ICPR.2000.906039 .
  • Peijun Du, Sicong Liu, Junshi Xia, Yindi Zhao. Techniky informační fúze pro detekci změn z vícečasových snímků dálkového průzkumu Země // Information Fusion. - 2013. - Leden ( díl 14 , číslo 1 ). - doi : 10.1016/j.inffus.2012.05.003 .
  • Lorenzo Bruzzone, Roberto Cossu, Gianni Vernazza. Kombinace parametrických a neparametrických algoritmů pro částečně nekontrolovanou klasifikaci multitemporálních snímků dálkového průzkumu // Information Fusion. - 2002. - Prosinec ( díl 3 , číslo 4 ). - doi : 10.1016/S1566-2535(02)00091-X .
  • P. Arun Raj Kumar, S. Selvakumar. Distribuovaná detekce útoků odmítnutí služby pomocí souboru neuronových klasifikátorů // Computer Communications. - 2011. - Červenec ( díl 34 , číslo 11 ). - doi : 10.1016/j.comcom.2011.01.012 .
  • Asaf Shabtai, Robert Moskovitch, Yuval Elovici, Chanan Glezer. Detekce škodlivého kódu aplikací klasifikátorů strojového učení na statické prvky: Nejmodernější průzkum // Technická zpráva o bezpečnosti informací. - 2009. - únor ( roč. 14 , číslo 1 ). - doi : 10.1016/j.istr.2009.03.003 .
  • Boyun Zhang, Jianping Yin, Jingbo Hao, Dingxing Zhang, Shulin Wang. Detekce škodlivých kódů na základě Ensemble Learning // Autonomní a důvěryhodné výpočty. - 2007. - doi : 10.1007/978-3-540-73547-2_48 .
  • Eitan Menahem, Asaf Shabtai, Lior Rokach, Yuval Elovici. Zlepšení detekce malwaru použitím souboru více induktorů // Computational Statistical & Data Analysis. - 2009. - únor ( díl 53 , číslo 4 ). - doi : 10.1016/j.csda.2008.10.015 .
  • Michael E. Locasto, Ke Wang, Angeles D. Keromytis, J. Stolfo Salvatore. FLIPS: Hybridní adaptivní prevence narušení // Nedávné pokroky v detekci narušení. - 2005. - doi : 10.1007/11663812_5 .
  • Giorgio Giacinto, Roberto Perdisci, Mauro Del Rio, Fabio Roli. Detekce narušení v počítačových sítích pomocí modulárního souboru jednotřídních klasifikátorů // Information Fusion. - 2008. - Leden ( díl 9 , číslo 1 ). - doi : 10.1016/j.inffus.2006.10.002 .
  • Xiaoyan Mu, Jiangfeng Lu, Paul Watta, Mohamad H. Hassoun. Klasifikátory souborů založené na váženém hlasování s aplikací pro rozpoznávání lidské tváře a rozpoznávání hlasu // Mezinárodní společná konference o neuronových sítích 2009. - 2009. - Červenec. - doi : 10.1109/IJCNN.2009.5178708 .
  • Su Yu, Shiguang Shan, Xilin Chen, Wen Gao. Hierarchický soubor klasifikátoru Gabor Fisher pro rozpoznávání obličeje // Automatické rozpoznávání obličeje a gest, 2006. FGR 2006. 7. mezinárodní konference o automatickém rozpoznávání obličeje a gest (FGR06). - 2006. - Duben. - doi : 10.1109/FGR.2006.64 .
  • Su Yu, Shiguang Shan, Xilin Chen, Wen Gao. Patch-based gabor fisher klasifikátor pro rozpoznávání obličeje // Sborník - Mezinárodní konference o rozpoznávání vzorů. - 2006. - Září ( vol. 2 ). - doi : 10.1109/ICPR.2006.917 .
  • Yang Liu, Yongzheng Lin, Yuehui Chen. Ensemble Classification Based on ICA for Face Recognition  // Proceedings - 1st International Congress on Image and Signal Processing, IEEE Conference, CISP 2008. - 2008. - July. - doi : 10.1109/CISP.2008.581 .
  • Steven A. Rieger, Rajani Muraleedharan, Ravi P. Ramachandran. Rozpoznávání emocí na základě řeči pomocí spektrální extrakce příznaků a souboru klasifikátorů kNN // Proceedings of the 9th International Symposium on Chinese Spoken Language Processing, ISCSLP 2014. - 2014. - doi : 10.1109/ISCSLP.2014.6936711 .
  • Jarek Krajewski, Anton Batliner, Silke Kessel. Porovnání více klasifikátorů pro detekci sebedůvěry na základě řeči – pilotní studie // 20. mezinárodní konference o rozpoznávání vzorů. - 2010. - doi : 10.1109/ICPR.2010.905 .
  • P. Ithaya Rani, K. Muneeswaran. Rozpoznejte emoce obličeje ve videosekvencích pomocí dočasných funkcí Gabor pro oči a ústa // Multimediální nástroje a aplikace. - 2016. - Květen ( díl 76 , číslo 7 ). - doi : 10.1007/s11042-016-3592-y .
  • P. Ithaya Rani, K. Muneeswaran. Rozpoznávání emocí obličeje na základě oblastí očí a úst // International Journal of Pattern Recognition and Artificial Intelligence. - 2016. - Srpen ( díl 30 , číslo 07 ). - doi : 10.1142/S021800141655020X .
  • P. Ithaya Rani, K. Muneeswaran. Rozpoznávání emocí na základě složek obličeje // Sādhanā. - 2018. - Březen ( díl 43 , číslo 3 ). - doi : 10.1007/s12046-018-0801-6 .
  • Francisco Louzada, Anderson Ara. Bagging k-dependence probabilistic networks: Alternativní výkonný nástroj pro detekci podvodů // Expertní systémy s aplikacemi. - 2012. - Říjen ( roč. 39 , číslo 14 ). - doi : 10.1016/j.eswa.2012.04.024 .
  • G. Ganesh Sundarkumar, Vadlamani Ravi. Nová hybridní metoda podvzorkování pro dolování nevyvážených datových sad v bankovnictví a pojišťovnictví // Engineering Applications of Artificial Intelligence. - 2015. - Leden ( vol. 37 ). - doi : 10.1016/j.engappai.2014.09.019 .
  • Yoonseong Kim, tak mladý Sohn. Detekce podvodů s akciemi pomocí analýzy skupin kolegů // Expertní systémy s aplikacemi. - 2012. - Srpen ( díl 39 , číslo 10 ). - doi : 10.1016/j.eswa.2012.02.025 .
  • Yoonseong Kim, tak mladý Sohn. Detekce podvodů s akciemi pomocí analýzy skupin kolegů // Expertní systémy s aplikacemi. - 2012. - Srpen ( díl 39 , číslo 10 ). - doi : 10.1016/j.eswa.2012.02.025 .
  • Savio A., García-Sebastián MT, Chyzyk D., Hernandez C., Graña M., Sistiaga A., López de Munain A., Villanúa J. Detekce neurokognitivních poruch na základě vektorů znaků extrahovaných z VBM analýzy strukturální MRI // Počítače v biologii a medicíně. - 2011. - Srpen ( díl 41 , číslo 8 ). - doi : 10.1016/j.compbiomed.2011.05.010 .
  • Ayerdi B., Savio A., Graña M. Meta-soubory klasifikátorů pro detekci Alzheimerovy choroby pomocí nezávislých funkcí ROI // Poznámky k přednáškám z informatiky (včetně podsérie Poznámky k přednáškám z umělé inteligence a Poznámky k přednáškám z bioinformatiky). - 2013. - Červen ( číslo 2. díl ). - doi : 10.1007/978-3-642-38622-0_13 .
  • Quan Gu, Yong-Sheng Ding, Tong-Liang Zhang. Predikce tříd receptorů spřažených s G-proteinem v nízké homologii založená na souborovém klasifikátoru // Neurocomputing. - 2015. - Duben ( sv. 154 ). - doi : 10.1016/j.neucom.2014.12.013 .

Čtení pro další čtení

  • Zhou Zhihua. Ensemble Methods: Základy a algoritmy. - Chapman a Hall/CRC, 2012. - ISBN 978-1-439-83003-1 .
  • Robert Schapire, Yoav Freund. Posílení: základy a algoritmy. - MPO, 2012. - ISBN 978-0-262-01718-3 .

Odkazy

  • Systém Waffles obsahující implementace Bagging, Boosting, Bayesian Model Averaging, Bayesian Combination of Models, Model Bucket a další montážní techniky.