ROC křivka

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 11. května 2020; kontroly vyžadují 42 úprav .

ROC-křivka ( anglicky  receiver Operating Character , receiver Operating Character ) - graf, který umožňuje vyhodnotit kvalitu binární klasifikace , zobrazuje poměr mezi podílem objektů z celkového počtu nosičů znaku, správně klasifikovaných jako nosiče rys ( eng.  true positive rate , TPR, tzv. senzitivita klasifikační algoritmus) a podíl objektů z celkového počtu objektů, které nenesou rys, mylně klasifikované jako nesoucí rys ( eng.  false positive rate , FPR, hodnota 1-FPR se nazývá specifičnost klasifikačního algoritmu) při změně prahu rozhodovacího pravidla.

Také známá jako chybová křivka . Analýza klasifikací pomocí ROC křivek se nazývá ROC analýza .

Kvantitativní interpretace ROC udává AUC ( angl.  Area Under Curve , area under the curve ) - oblast ohraničenou ROC-křivkou a osou podílu falešně pozitivních klasifikací. Čím vyšší AUC, tím lepší klasifikátor, přičemž hodnota 0,5 dokládá nevhodnost zvolené klasifikační metody (odpovídající náhodnému hádání). Hodnota menší než 0,5 říká, že klasifikátor funguje přesně opačně: pokud se pozitiva nazývají zápory a naopak, bude klasifikátor fungovat lépe.

Základní koncept

Klasickou aplikací klasifikačních problémů jsou zhoubné nádory: symptomy se často objevují, když je nemoc pokročilá k nevyléčitelnosti, a spolehlivé testy jsou extrémně drahé. Proto jsou žádané levné, i když ne tak spolehlivé testy – a vysvětlíme na příkladu zdravých a nemocných lidí.

Úkolem klasifikace je přiřadit dříve neznámé objekty konkrétní třídě. Příkladem takového úkolu může být diagnostika onemocnění – zda ​​pacient onemocněl ( pozitivní výsledek ) nebo ne ( negativní výsledek ). V důsledku klasifikace pak lze pozorovat čtyři různé situace:

Čtyři možné výstupy mohou být formulovány a formátovány jako kontingenční tabulka 2×2 .

Potom se hodnota Sen=TP/(TP+FN), schopnost algoritmu „vidět“ pacienty, nazývá citlivost nebo frekvence skutečných pozitiv , Spe=TN/(TN+FP) je specificita nebo frekvence skutečných negativa , schopnost algoritmu nebrat zdravé lidi za nemocné. Ekonomický efekt těchto chyb je různý: falešně negativní pacient přijde se zanedbaným onemocněním, prostředky se vynaloží na dodatečné vyšetření falešně pozitivního. Hodnota 1−Spe=FP/(TN+FP) se nazývá míra falešné pozitivity .

Klasifikátor často nevrací bit zdravý-nemocný, ale číslo na souvislé stupnici: například 0="očividně zdravý", 25="s největší pravděpodobností zdravý", 50="neurčitý", 75="s největší pravděpodobností nemocný ", 100="jasně nemocný". Ale přesto je soubor přijatých rozhodnutí obvykle konečný, nebo dokonce binární: má být pacient odeslán k dalšímu vyšetření? Měla by fungovat posunovačka, shození části do kontejneru s manželstvím ? Změnou prahu odezvy měníme charakteristiky senzitivity a specificity: čím vyšší, tím nižší.

V důsledku změny prahu z −∞ na ∞ a vynesení bodů X=1−Spe a Y=Sen v souřadnicovém prostoru X,Y získáme graf, který se nazývá ROC křivka. Na prahu −∞ klasifikátor klasifikuje všechny pacienty jako nemocné (1−Spe=1, Sen=1). Na prahu +∞ je každý klasifikován jako zdravý (1−Spe=0, Sen=0). Křivka ROC se proto vždy pohybuje od (0,0) do (1,1).

Případ spojitých náhodných veličin

Klasifikace je často založena na spojitých náhodných proměnných . V tomto případě je vhodné pravděpodobnost příslušnosti do určité třídy zapsat jako distribuční funkci pravděpodobnosti v závislosti na určité prahové (mezní) hodnotě parametru ve tvaru a pravděpodobnosti nepříslušnosti jako . Potom lze počet falešně pozitivních (falešně pozitivní rychlost, FPR) řešení vyjádřit jako . Zároveň lze počet pravdivě pozitivních rozhodnutí (true-positive rate, TPR) vyjádřit jako . Při konstrukci ROC-křivky podél osy a podél osy  se získá při různých hodnotách parametru .

Představte si například, že hladiny některých bílkovin v krvi jsou normálně distribuovány s centry rovnými 1 g / dl a 2 g / dl u zdravých a nemocných lidí . Lékařský test může poskytnout údaj o hladině jakékoli bílkoviny v krevní plazmě . Hladina bílkovin nad určitou mez může být považována za známku onemocnění . Výzkumník může posunout hranici (černá svislá čára na obrázku), čímž se změní počet falešně pozitivních výsledků. Výsledný tvar ROC křivky závisí na míře průniku obou distribucí .

Speciální případy

Pokud je obecná populace konečná (což se obvykle děje na skutečných souborech dat), pak když se práh t posune z −∞ na ∞, jsou možné následující situace:

Protože pravděpodobnost čtvrté události je malá, má ROC křivka konečné obecné populace stupňovitý tvar s malým počtem šikmých segmentů, kde chyby ve sběru a zpracování dat poskytly stejný výsledek na objektech různých tříd.

V souladu s tím je algoritmus pro konstrukci ROC křivky pro konečnou obecnou populaci následující. Seřaďme objekty podle hodnoty kritéria. Vezmeme sadu objektů se stejnou hodnotou kritéria, přepočítáme Sen a Spe a nakreslíme segment. Pokračujeme, dokud předměty nedojdou.

Křivka ROC binárního klasifikátoru produkující 0 nebo 1 (například rozhodovací strom ) vypadá jako dva segmenty (0,0) → (1−Spe,Sen) → (1,1).

V ideálním případě, kdy klasifikátor zcela oddělí pozitivní a negativní členy obecné populace, se nejprve všechny falešně pozitivní stanou pravdivými negativními (segment (1,1) - (0,1)), poté se všechny pravdivé pozitivní stanou falešně negativními ( segment (0,1)—(0,0)). To znamená, že ROC křivka ideálního klasifikátoru, bez ohledu na to, jaká čísla vytváří kritérium a zda je obecná populace konečná, vypadá jako dva segmenty (0,0) - (0,1) - (1,1).

Na prahu t , kde je ROC křivka pod úhlopříčkou 1−Spe = Sen , lze kritérium převrátit (vše menší než t lze prohlásit za pozitivní) a klasifikátor bude fungovat lépe než původně: zvýší se jak citlivost, tak specificita .

Aplikace

ROC-křivky byly poprvé použity v teorii zpracování signálu ve Spojených státech během druhé světové války ke zlepšení kvality rozpoznávání nepřátelských objektů z radarového signálu [1] . Po útoku na Pearl Harbor v roce 1941 zahájila americká armáda nový výzkum zaměřený na pokus o zvýšení přesnosti identifikace japonských letadel z radarových signálů.

Následně byly ROC křivky široce používány v lékařské diagnostice [2] [3] [4] . ROC křivky se používají v epidemiologii a lékařském výzkumu a jsou často označovány ve stejném kontextu jako medicína založená na důkazech . V radiologii se ROC křivky používají k ověření a testování nových technik [5] . Ve společenských vědách se ROC křivky používají k rozhodování o kvalitě pravděpodobnostních modelů. Křivky se také používají při řízení kvality produktů a úvěrovém hodnocení .

Jak již bylo uvedeno, ROC křivky jsou široce používány ve strojovém učení . Poprvé byly v tomto kontextu použity v práci Spakmana, který demonstroval použití ROC křivek při porovnávání několika klasifikačních algoritmů . [6]

Další případy použití

Oblast pod křivkou

V normalizovaném prostoru je plocha pod křivkou ( AUC - Area Under Curve, AUROC - Area Under Receiver Operating Characteristic ) ekvivalentní pravděpodobnosti , že klasifikátor přiřadí větší váhu náhodně vybrané pozitivní entitě než náhodně vybrané negativní entitě. . [7] Lze to znázornit následovně: plocha pod křivkou je dána integrálem (osa je natočena se znaménkem mínus - větší hodnotě souřadnice odpovídá menší hodnota parametru ): . Úhlové závorky označují operaci výpočtu průměru.

Ukázalo se, že AUC úzce souvisí s Mann-Whitney U-testem [8] [9] , což je měřítko, zda je pozitivním položkám přikládána větší váha než negativním. Hodnota AUC také souvisí s Wilcoxonovým testem [9] a Giniho koeficientem ( ) následovně: , kde:

[10] .

AUC se také často používá k porovnání modelů založených na trénovací sadě [11] . V některých případech je však použití tohoto indikátoru obtížné, protože AUC je citlivá na hluk [12] . V některých článcích jsou také zaznamenány další problémy, které vznikají při použití hodnoty AUC k porovnání modelů [13] [14] . Jak již bylo uvedeno dříve, hodnotu plochy pod křivkou lze použít jako hodnotu pravděpodobnosti, s níž bude náhodně vybrané pozitivní entitě přiřazena větší váha než náhodně vybrané negativní entitě. V řadě prací [12] [13] však byly učiněny předpoklady o obtížnosti získání spolehlivých odhadů hodnot AUC . Praktická hodnota indikátoru AUC byla tedy zpochybněna [14] , což naznačuje, že hodnota často může přinést více nejistoty než jasnosti.

ROC křivky v nebinárních klasifikačních problémech

Rozšíření ROC křivek na případ klasifikačních problémů s více než dvěma třídami bylo vždy zatíženo obtížemi, protože počet stupňů volnosti roste kvadraticky s počtem tříd a ROC prostor má rozměry , kde  je počet tříd. [15] Některé praktické přístupy byly vyvinuty i pro případ, kdy je počet tříd tři. [16] Objem pod povrchem ROC ( VUS - Volume Under Surface ) je považován za metriku kvality klasifikátorů pro nebinární klasifikační problémy. [17] Vzhledem ke složitosti analýzy proměnné VUS však byly vyvinuty další přístupy [18] založené na rozšíření konceptu VUS .

Díky úspěšné aplikaci ROC křivek k analýze kvality klasifikátorů byla studována rozšíření ROC křivek na další kontrolované učební problémy . Mezi práce stojí za zmínku ty, které se věnují tzv. REC-křivkám ( regresní chybová charakteristika - REC-curve ) [19] a RROC-křivkám ( Regression ROC curves ) [20] . Stojí za zmínku, že plocha pod křivkou RROC je úměrná rozptylu chyb regresního modelu .

Viz také

Poznámky

  1. ↑ Green, David M.; Swets, John A. Teorie detekce signálu a  psychofyzika . - New York, NY: John Wiley and Sons Inc., 1966. - ISBN 0-471-32420-5 .
  2. ↑ Zweig, Mark H.; Campbell, Gregory. Grafy provozních charakteristik přijímače (ROC): základní nástroj hodnocení v klinické medicíně  (anglicky)  // Clinical Chemistry : journal. - 1993. - Sv. 39 , č. 8 . - str. 561-577 . — PMID 8472349 .
  3. ↑ Pepe, Margaret S. Statistické hodnocení lékařských testů pro klasifikaci a predikci  . — New York, NY: Oxford, 2003. — ISBN 0-19-856582-8 .
  4. ↑ Sushkova, OS; Morozov, A.A.; Gabová, A. V.; Karabanov, AV; Illarioshkin, SN Statistická metoda pro průzkumnou analýzu dat na základě 2D a 3D oblasti pod křivkovými diagramy: Parkinson's Disease Investigation  (anglicky)  // Senzory: časopis. - MDPI, 2021. - Sv. 21 , č. 14 . — S. 4700 .
  5. ↑ Obuchowski, Nancy A. Provozní charakteristické křivky přijímače a jejich použití v radiologii  //  Radiologie : časopis. - 2003. - Sv. 229 , č.p. 1 . - str. 3-8 . - doi : 10.1148/radiol.2291010898 . — PMID 14519861 .
  6. ↑ Spackman, Kent A. (1989). „Teorie detekce signálů: Cenné nástroje pro hodnocení indukčního učení“. Sborník příspěvků ze šestého mezinárodního workshopu o strojovém učení . San Mateo, CA: Morgan Kaufmann . str. 160-163.
  7. ↑ Fawcett, Tom (2006); Úvod do analýzy ROC , Pattern Recognition Letters, 27, 861-874.
  8. ↑ Hanley, James A.; McNeil, Barbara J. The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC) Curve  //  ​​​​Radiology: journal. - 1982. - Sv. 143 . - str. 29-36 . — PMID 7063747 .
  9. ↑ 1 2 Mason, Simon J.; Graham, Nicholas E. Oblasti pod křivkami relativních provozních charakteristik (ROC) a relativních provozních úrovní (ROL): Statistická významnost a interpretace  // Čtvrtletní  žurnál Královské meteorologické společnosti : deník. - 2002. - Ne. 128 . - S. 2145-2166 .
  10. ↑ Ruka, David J.; a Till, Robert J. (2001); Jednoduché zobecnění oblasti pod křivkou ROC pro problémy s klasifikací více tříd , Machine Learning, 45, 171-186.
  11. ↑ Hanley, James A.; McNeil, Barbara J. Metoda porovnávání oblastí pod operačními charakteristickými křivkami odvozená ze stejných případů  //  Radiology : journal. - 1983. - 1. září ( roč. 148 , č. 3 ). - S. 839-843 . — PMID 6878708 .
  12. ↑ 1 2 Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; a Dougherty, Edward R. (2010); Přesnost malého vzorku odhadů souvisejících s ROC , Bioinformatics 26(6): 822-830
  13. ↑ 1 2 Lobo, Jorge M.; Jimenez-Valverde, Alberto; and Real, Raimundo (2008), AUC: zavádějící měřítko výkonu prediktivních distribučních modelů , Global Ecology and Biogeography, 17: 145-151
  14. ↑ 1 2 Hand, David J. (2009); Měření výkonu klasifikátoru: Souvislá alternativa k oblasti pod křivkou ROC , Machine Learning, 77: 103-123
  15. ↑ Srinivasan, A. (1999). „Poznámka k umístění optimálních klasifikátorů v N-rozměrném prostoru ROC“. Technická zpráva PRG-TR-2-99, Oxford University Computing Laboratory, Wolfson Building, Parks Road, Oxford .
  16. ↑ Mossman, D. Třícestné ROC  (nespecifikováno)  // Medical Decision Making. - 1999. - T. 19 . - S. 78-89 . doi : 10.1177 / 0272989x9901900110 .
  17. ↑ Ferry, C.; Hernandez Orallo, J.; Salido, M. A. (2003). „Volume under ROC Surface for Multi-class Problems“. Strojové učení: ECML 2003 . str. 108–120.
  18. ↑ Till, DJ; Hand, RJ Jednoduché zobecnění oblasti pod křivkou ROC pro problémy s klasifikací více tříd  //  Machine Learning: journal. - 2012. - Sv. 45 . - S. 171-186 .
  19. ↑ Bi, J.; Bennett, KP (2003). „Charakteristické křivky regresní chyby“. Dvacátá mezinárodní konference o strojovém učení (ICML-2003). Washington, DC
  20. ↑ Hernandez-Orallo, J. ROC křivky pro regresi  (neurčité)  // Rozpoznávání vzorů. - 2013. - T. 46 , č. 12 . - S. 3395-3411. . - doi : 10.1016/j.patcog.2013.06.014 .
  Přejděte na položku Wikidata  Slovníky a encyklopedie
V bibliografických katalozích