ROC görbe

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2020. május 11-én felülvizsgált verziótól ; az ellenőrzések 42 szerkesztést igényelnek .

ROC-görbe ( angolul a vevő működési karakterisztikája , a vevő működési karakterisztikája) - egy grafikon, amely lehetővé teszi a bináris osztályozás minőségének értékelését , megjeleníti az objektumok arányát a jellemző vivőinek teljes számához viszonyítva, helyesen besorolva a hordozók közé. a jellemzőt ( angol valódi pozitív arány , TPR, érzékenységi osztályozási algoritmusnak nevezik), és azon objektumok arányát az összes objektumhoz képest, amelyek nem hordoznak jellemzőt, és tévesen jellemzőt hordozónak minősítettek ( angol false pozitív arány , FPR, az 1-FPR értékét az osztályozási algoritmus specifitásának nevezzük) a döntési szabály küszöbének változtatásakor.

Más néven hibagörbe . Az osztályozások ROC görbék segítségével történő elemzését ROC elemzésnek nevezzük .

A ROC kvantitatív értelmezése megadja az AUC -t ( eng. Area Under Curve , area under the curve ) - a ROC-görbe által határolt területet és a hamis pozitív besorolások arányának tengelyét. Minél nagyobb az AUC, annál jobb az osztályozó, míg a 0,5 érték a kiválasztott osztályozási módszer alkalmatlanságát jelzi (ami a véletlenszerű találgatásnak felel meg). A 0,5-nél kisebb érték azt jelenti, hogy az osztályozó pont fordítva működik: ha a pozitívakat negatívnak nevezzük, és fordítva, az osztályozó jobban fog működni.

Alapfogalom

A rosszindulatú daganatok az osztályozási problémák klasszikus alkalmazása: a tünetek gyakran akkor jelentkeznek, amikor a betegség már gyógyíthatatlanná lépett, és a megbízható vizsgálatok rendkívül költségesek. Ezért az olcsó, bár nem olyan megbízható tesztekre van szükség - és ezt egészséges és beteg emberek példáján magyarázzuk el.

Az osztályozás feladata, hogy korábban ismeretlen objektumokat rendeljen egy adott osztályhoz. Ilyen feladat lehet például egy betegség diagnosztizálása – függetlenül attól, hogy a beteg megbetegedett ( pozitív eredmény ) vagy sem ( negatív eredmény ). Ezután az osztályozás eredményeként négy különböző helyzet figyelhető meg:

igaz-pozitív eredmény ( igaz-pozitív, TP ) — a beteg beteg, a diagnózis pozitív;
hamis pozitív eredmény ( álpozitív, FP ) — a beteg egészséges, a diagnózis pozitív;
igaz-negatív eredmény ( igaz-negatív, TN ) - a beteg egészséges, a diagnózis negatív;
hamis negatív eredmény ( álnegatív, FN ) - a beteg beteg, a diagnózis negatív.

A négy lehetséges kimenet 2×2-es kontingenciatáblázatként is megfogalmazható és formázható .

Ekkor a Sen=TP/(TP+FN) értéket, vagyis az algoritmus azon képességét, hogy „látja” a betegeket, a valódi pozitívumok érzékenységének vagy gyakoriságának nevezzük , Spe=TN/(TN+FP) az igaz specifitása vagy gyakorisága. negatívumok , az algoritmus azon képessége, hogy ne vegye egészséges embereket betegnek. Ezeknek a hibáknak a gazdasági hatása eltérő: az álnegatív beteg elhanyagolt betegséggel érkezik, az álpozitív kiegészítő vizsgálatára fordítanak erőforrásokat. Az 1−Spe=FP/(TN+FP) értéket hamis pozitív aránynak nevezzük .

Az osztályozó gyakran nem az egészséges-beteg bitet adja vissza, hanem egy folyamatos skálán lévő számot: például 0="nyilvánvalóan egészséges", 25="valószínűleg egészséges", 50="határozatlan", 75="valószínűleg beteg ", 100="egyértelműen beteg". De mindazonáltal a meghozott döntések halmaza általában véges, sőt bináris: kell-e a beteget további vizsgálatra küldeni? Működnie kell a tolónak, beleejteni az alkatrészt a konténerbe a házassággal ? A válaszküszöb változtatásával megváltoztatjuk az érzékenység és a specificitás jellemzőit: minél magasabb, annál alacsonyabb a másik.

A küszöb −∞-ről ∞-ra való változtatása és az X=1−Spe és Y=Sen pontok X,Y koordinátatérben történő ábrázolása eredményeként egy grafikont kapunk, amelyet ROC görbének nevezünk. A −∞ küszöbnél az osztályozó minden beteget betegnek minősít (1−Spe=1, Sen=1). A +∞ küszöbnél mindenki egészségesnek minősül (1−Spe=0, Sen=0). Ezért a ROC görbe mindig (0.0)-tól (1.1)-ig megy.

A folytonos valószínűségi változók esete

Az osztályozás gyakran folytonos valószínűségi változókon alapul . Ebben az esetben célszerű egy adott osztályhoz való tartozás valószínűségét valószínűségi eloszlásfüggvényként felírni a paraméter egy bizonyos küszöbértékétől (határértékétől) függően az alakban , és a nem tartozás valószínűségét -ként . Ekkor az álpozitív (fals-pozitív arány, FPR) megoldások száma a következővel fejezhető ki . Ugyanakkor az igaz-pozitív döntések száma (igaz-pozitív arány, TPR) a következővel fejezhető ki . Amikor a ROC - görbét a tengely mentén és a tengely mentén készítjük , a paraméter különböző értékeinél kapjuk meg . $T$ $P_{1}(T)$ $P_{0}(T)$ $FPR(T)=\int _{{T}}^{\infty }P_{0}(T)dT$ $TPR(T)=\int _{{T}}^{\infty }P_{1}(T)dT$ $Y$ $TPR(T)$ $x$ $FPR(T)$ $T$

Például képzeljük el, hogy egyes fehérjék szintje a vérben normálisan 1 g / dl , illetve 2 g / dl centrumokkal oszlik meg egészséges és beteg emberekben . Egy orvosi vizsgálat jelezheti bármely fehérje szintjét a vérplazmában . Egy bizonyos határ feletti fehérjeszint betegség jelének tekinthető . A kutató elmozdíthatja a szegélyt (fekete függőleges vonal az ábrán), ami megváltoztatja a hamis pozitív eredmények számát. A ROC görbe eredményül kapott alakja a két eloszlás metszéspontjától függ .

Különleges esetek

Ha az általános sokaság véges (ami általában valós adathalmazokon történik), akkor amikor a t küszöb −∞-ről ∞-re mozog, a következő helyzetek lehetségesek:

Ha a t növekedésével az objektumok hamis-pozitív és igaz-pozitív becsléseinek száma nem változik, akkor a Sen és Spe értéke sem változik, és nem jelennek meg a ROC-görbe új pontjai. , a ROC-görbe megszerkesztett része változatlan marad.
Ahogy t növekszik , egy vagy több objektum becslése hamis pozitívról igaz negatívra változik, míg a valódi pozitívak száma nem változik. Ennek megfelelően a Sen érték változatlan marad, Spe növekszik, X = 1 − Spe csökken, és egy vízszintes szakasz kerül a görbébe.
Ahogy t növekszik , egy vagy több objektum becslése igaz pozitívról hamis negatívra változik, miközben a hamis pozitívak száma nem változik. Ezután Y = Sen csökken, és egy függőleges szegmens kerül hozzáadásra a görbéhez.
Ha a második és a harmadik egyszerre fordul elő, akkor X = 1 − Spe és Y=Sen csökken, és a megfelelő ferde szakasz hozzáadódik a ROC görbéhez.

Mivel a negyedik esemény valószínűsége kicsi, ezért a végső általános sokaság ROC-görbéje lépcsőzetes, kis számú lejtős szegmenssel, ahol az adatgyűjtés és -feldolgozás hibái ugyanazt az eredményt adták különböző osztályú objektumok esetén.

Ennek megfelelően egy véges általános sokaság ROC-görbéjének felépítésének algoritmusa a következő. Rendezzük az objektumokat a kritérium értéke szerint. Vegyünk egy azonos feltételértékű objektumkészletet, újraszámoljuk a Sen és Spe értékeket, és rajzolunk egy szakaszt. Addig folytatjuk, amíg a tárgyak el nem fogynak.

Egy 0-t vagy 1-et adó bináris osztályozó (például egy döntési fa ) ROC görbéje úgy néz ki, mint két szegmens (0,0) → (1−Spe,Sen) → (1,1).

Ideális esetben, amikor az osztályozó teljesen elválasztja az általános sokaság pozitív és negatív tagjait, először minden hamis pozitív lesz igaz negatív ((1,1) - (0,1) szegmens), majd minden igaz pozitív hamis negatív lesz ( szegmens (0,1)–(0,0)). Azaz egy ideális osztályozó ROC-görbéje, függetlenül attól, hogy a kritérium milyen számokat hoz létre, és hogy az általános sokaság véges-e, két szegmensnek (0,0) - (0,1) - (1,1) néz ki.

Azoknál a t küszöbértékeknél , ahol a ROC-görbe az 1−Spe = Sen átló alatt van , a kritérium megfordítható (minden t -nél kisebbet pozitívnak nyilváníthatunk), és az osztályozó jobban fog teljesíteni, mint eredetileg: mind az érzékenység, mind a specificitás nő. .

Alkalmazás

A ROC-görbéket először a jelfeldolgozás elméletében használták az Egyesült Államokban a második világháború idején , hogy javítsák az ellenséges objektumok radarjelből való felismerésének minőségét [1] . A Pearl Harbor elleni 1941 - es támadás után az amerikai hadsereg új kutatásba kezdett , amelynek célja a japán repülőgépek radarjelek alapján történő azonosításának pontosabbá tétele volt.

Ezt követően a ROC-görbéket széles körben alkalmazták az orvosi diagnosztikában [2] [3] [4] . A ROC-görbéket az epidemiológiában és az orvosi kutatásokban használják, és gyakran hivatkoznak rájuk a bizonyítékokon alapuló gyógyászattal azonos összefüggésben . A radiológiában a ROC görbéket új technikák validálására és tesztelésére használják [5] . A társadalomtudományokban a ROC-görbéket a valószínűségi modellek minőségével kapcsolatos ítéletek meghozatalára használják. A görbéket a termékminőség -menedzsmentben és a hitelminősítésben is használják .

Mint már említettük, a ROC-görbéket széles körben használják a gépi tanulásban . Ebben az összefüggésben először Spakman munkájában használták őket, aki bemutatta a ROC görbék használatát számos osztályozási algoritmus összehasonlításakor . [6]

További használati esetek

A görbe alatti terület

Normalizált térben a görbe alatti terület ( AUC - görbe alatti terület, AUROC - vevő működési jellemzője alatti terület ) megegyezik annak valószínűségével , hogy az osztályozó nagyobb súlyt rendel egy véletlenszerűen kiválasztott pozitív entitáshoz, mint egy véletlenszerűen kiválasztott negatívhoz. . [7] Ez a következőképpen ábrázolható: a görbe alatti területet az integrál adja meg (a tengelyt mínusz előjellel forgatjuk - a koordináta nagyobb értéke a paraméter kisebb értékének felel meg ): . A szögzárójelek az átlagfelvétel műveletét jelölik. $x$ $T$ $A=\int _({\infty }}^{{-\infty }}y(T)x'(T)dT=\int _({\infty }}^{{-\infty }}TPR(T )FPR'(T)dT=\int _{{-\infty }}^{{\infty }}TPR(T)P_{0}(T)dT=\langle TPR\rangle$

Kimutatták, hogy az AUC szoros kapcsolatban áll a Mann-Whitney U-teszttel [8] [9] , amely azt méri, hogy a pozitív tételek nagyobb súlyt kapnak-e, mint a negatívak. Az AUC érték a Wilcoxon-teszthez [9] és a Gini-együtthatóhoz ( ) is kapcsolódik a következőképpen: , ahol: $G_{1}$ $G_{1}=2AUC-1$

$G_{1}=1-\összeg _{{k=1}}^{n}(X_{{k}}-X_{{k-1}})(Y_{k}+Y_{{k-1 }})$ [10] .

Az AUC -t gyakran használják modellek összehasonlítására is a tréningkészlet alapján [11] . Bizonyos esetekben azonban ennek a mutatónak a használata nehézkes, mert az AUC érzékeny a zajra [12] . Ezenkívül egyes dokumentumokban további problémák merülnek fel, amelyek akkor merülnek fel, ha az AUC -értéket modellek összehasonlítására használják [13] [14] . Amint azt korábban megjegyeztük, a görbe alatti terület értéke annak a valószínűségének az értékeként használható, amellyel egy véletlenszerűen kiválasztott pozitív entitás nagyobb súlyt kap, mint egy véletlenszerűen kiválasztott negatív entitás. Számos munka [12] [13] azonban feltételezéseket fogalmazott meg az AUC -értékek megbízható becslésének nehézségével kapcsolatban . Így az AUC mutató gyakorlati értéke megkérdőjeleződött [14] , ami azt jelzi, hogy az érték gyakran több bizonytalanságot jelent, mint egyértelműséget.

ROC görbék nem bináris osztályozási problémákban

A ROC-görbék kiterjesztése kettőnél több osztályú osztályozási problémák esetére mindig is nehézségekkel járt, mivel a szabadsági fokok száma az osztályok számával négyzetesen növekszik, és a ROC-tér dimenziókkal rendelkezik , ahol a osztályok száma. [15] Néhány gyakorlati megközelítést is kidolgoztak arra az esetre, amikor az osztályok száma három. [16] A ROC-felület alatti térfogat ( VUS – Volume Under Surface ) a nem bináris osztályozási problémák osztályozóinak minőségi mérőszáma . [17] A VUS változó elemzésének összetettsége miatt azonban a VUS koncepció kiterjesztése alapján más megközelítéseket [18] is kidolgoztak . $c(c-1)$ $c$

A ROC görbék sikeres alkalmazása miatt az osztályozók minőségének elemzésére, a ROC görbék kiterjesztését más felügyelt tanulási problémákra is tanulmányozták . A munkák közül érdemes megemlíteni az úgynevezett REC-görbék ( regressziós hiba karakterisztikája - REC-görbe ) [19] és RROC-görbék ( Regression ROC curves ) [20] munkáit . Érdemes megjegyezni, hogy az RROC görbe alatti terület arányos a regressziós modell hibavarianciájával .

Lásd még

Jegyzetek

↑ Green, David M.; Swets, John A. Jelérzékelési elmélet és pszichofizika . - New York, NY: John Wiley and Sons Inc., 1966. - ISBN 0-471-32420-5 .
↑ Zweig, Mark H.; Campbell, Gregory. Vevő-működési jellemzők (ROC) diagramok: alapvető kiértékelő eszköz a klinikai gyógyászatban (angol) // Clinical Chemistry : Journal. - 1993. - 1. évf. 39 , sz. 8 . - P. 561-577 . — PMID 8472349 .
↑ Pepe, Margaret S. Orvosi tesztek statisztikai értékelése osztályozáshoz és előrejelzéshez . — New York, NY: Oxford, 2003. — ISBN 0-19-856582-8 .
↑ Sushkova, OS; Morozov, A. A.; Gabova, A. V.; Karabanov, AV; Illarioshkin, SN Statisztikai módszer a feltáró adatelemzéshez 2D és 3D görbediagramok alatti terület alapján: Parkinson-kór vizsgálata (angol) // Szenzorok : folyóirat. - MDPI, 2021. - Kt. 21 , sz. 14 . — 4700. o .
↑ Obuchowski, Nancy A. Vevő működési jelleggörbéi és felhasználásuk a radiológiában // Radiology : Journal. - 2003. - 1. évf. 229 , sz. 1 . - 3-8 . o . - doi : 10.1148/radiol.2291010898 . — PMID 14519861 .
↑ Spackman, Kent A. (1989). „Jelérzékelési elmélet: Értékes eszközök az induktív tanulás értékeléséhez”. A gépi tanulásról szóló hatodik nemzetközi műhelymunka anyaga . San Mateo, CA: Morgan Kaufmann . pp. 160-163.
↑ Fawcett, Tom (2006); Bevezetés a ROC elemzésbe , Pattern Recognition Letters, 27, 861-874.
↑ Hanley, James A.; McNeil, Barbara J. The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC) Curve // Radiology : Journal. - 1982. - 1. évf. 143 . - P. 29-36 . — PMID 7063747 .
↑ 1 2 Mason, Simon J.; Graham, Nicholas E. A relatív működési jellemzők (ROC) és a relatív működési szintek (ROL) görbéi alatti területek: Statisztikai szignifikancia és értelmezés // Quarterly Journal of the Royal Meteorological Society : folyóirat. - 2002. - Nem. 128 . - P. 2145-2166 .
↑ Kéz, David J.; és Till, Robert J. (2001); A ROC-görbe alatti terület egyszerű általánosítása többszörös osztálybesorolási problémákhoz , Machine Learning, 45, 171-186.
↑ Hanley, James A.; McNeil, Barbara J. Az azonos esetekből származó működési jelleggörbék alatti területek összehasonlításának módszere // Radiology : Journal. - 1983. - szeptember 1. ( 148. évf. , 3. sz.). - P. 839-843 . — PMID 6878708 .
↑ 1 2 Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; és Dougherty, Edward R. (2010); ROC-vel kapcsolatos becslések kis mintás pontossága , Bioinformatics 26(6): 822-830
↑ 1 2 Lobo, Jorge M.; Jimenez-Valverde, Alberto; és Real, Raimundo (2008), AUC: a prediktív eloszlási modellek teljesítményének félrevezető mérőszáma , Global Ecology and Biogeography, 17: 145-151
↑ 1 2 Hand, David J. (2009); Az osztályozó teljesítményének mérése: A ROC görbe alatti terület koherens alternatívája , Machine Learning, 77: 103-123
↑ Srinivasan, A. (1999). „Megjegyzés az optimális osztályozók elhelyezkedéséhez az N-dimenziós ROC térben”. Technikai jelentés PRG-TR-2-99, Oxford University Computing Laboratory, Wolfson Building, Parks Road, Oxford .
↑ Mossman, D. Háromutas ROC-k (meghatározatlan) // Orvosi döntéshozatal. - 1999. - T. 19 . - S. 78-89 . doi : 10.1177 / 0272989x9901900110 .
↑ Ferry, C.; Hernandez Orallo, J.; Salido, M. A. (2003). „Volume under the ROC Surface for Multi-class Problems”. Gépi tanulás: ECML 2003 . pp. 108–120.
↑ Till, DJ; Hand, RJ A ROC görbe alatti terület egyszerű általánosítása többszörös osztályozási problémákhoz // Machine Learning : Journal. - 2012. - Kt. 45 . - 171-186 . o .
↑ Bi, J.; Bennett, KP (2003). „Regressziós hiba jelleggörbék”. Huszadik nemzetközi gépi tanulási konferencia (ICML-2003). Washington, DC .
↑ Hernandez-Orallo, J. ROC curves for regression (határozatlan) // Pattern Recognition. - 2013. - T. 46 , 12. sz . - S. 3395-3411. . - doi : 10.1016/j.patcog.2013.06.014 .

Szótárak és enciklopédiák	nagy kínai Britannica (online)
Bibliográfiai katalógusokban	GND : 4178266-5