Módszerek együttese (gépi tanulás)

A statisztikák és a gépi tanulás módszereinek együttese több betanított algoritmust használ a jobb prediktív teljesítmény elérése érdekében , mint amennyit az egyes betanítási algoritmusok külön-külön megkapnának [1] [2] [3] . Ellentétben a statisztikai mechanika statisztikai együttesével , amely általában végtelen, a gépi tanulás módszereinek együttese alternatív modellek meghatározott véges halmazából áll, de általában sokkal rugalmasabb struktúrák létezését teszi lehetővé.

Áttekintés

A felügyelt tanulási algoritmusokat leggyakrabban úgy írják le, mint amelyek megoldják a megfelelő hipotézis megtalálásának problémáját a hipotézisek terén – olyat, amely jó előrejelzéseket ad egy adott problémára vonatkozóan. De egy jó hipotézis megtalálása nehéz feladat lehet. A módszerek együttese több hipotézis kombinációját használja abban a reményben, hogy ez jobb lesz, mint a hipotézisek önmagukban. Az ensemble kifejezést általában olyan módszerekre tartják fenn, amelyek több hipotézist generálnak ugyanazzal az alaptanárral.[ mi? ] . A több osztályozó rendszer tágabb fogalma is több hipotézist használ, de nem ugyanaz a tanár generálja. .

Az együttes előrejelzés kiszámítása általában több számítást igényel, mint egyetlen modell előrejelzése, ezért az együttesek úgy tekinthetők, mint a rossz tanulási algoritmusok további számításokkal történő kompenzálása. Az együttes módszerek jellemzően gyors algoritmusokat használnak, például döntési fákat (pl. random forests ), bár a lassú algoritmusok is profitálhatnak az ensemble-építési technikákból.

Analógia útján az ensemble összeállítási technikát felügyelet nélküli tanulási forgatókönyvekben is használják , mint például a konszenzusos klaszterezés az anomália észlelése .

Ensemble theory

Maga az együttes egy felügyelt tanulási algoritmus, mert betanítható, majd felhasználható jóslat készítésére. A képzett együttes tehát egy hipotézist képvisel. Ez a hipotézis azonban nem feltétlenül azon modellek hipotéziseinek terében található, amelyekből felépült. Így az együttesek nagy rugalmassággal rendelkeznek az általuk képviselt funkciókban. Ez a rugalmasság elméletileg azt eredményezheti, hogy gyorsabban illeszkednek a képzési adatokhoz, mint egyetlen modell, de a gyakorlatban egyes együttesépítési technikák (különösen a zsákolás ) általában csökkentik a képzési adatok túlillesztésével kapcsolatos problémákat.

Empirikusan az együttesek általában jobban teljesítenek, ha jelentős különbség van a modellek között [4] [5] . Ezért számos módszer-együttes igyekszik növelni az általuk kombinált modellek különbségét [6] [7] . Bár talán nem intuitív, véletlenszerűbb algoritmusok (például véletlenszerű döntési fák) szűkebb együttesek előállítására használhatók, mint a jól átgondolt algoritmusok (például az entrópiaredukciós döntési fák) [8] . A különböző szigorú tanulási algoritmusok alkalmazása azonban hatékonyabbnak bizonyult, mint az olyan technikák alkalmazása, amelyek a modellek egyszerűsítését kísérlik meg a nagyobb megkülönböztetés érdekében [9] .

Együttes mérete

Míg az osztályozók száma egy együttesben nagy hatással van az előrejelzés pontosságára, csak korlátozott számú cikk foglalkozik ezzel a kérdéssel. Az együttes méretének és a nagy adatfolyamok sebességének a priori meghatározása ezt a tényezőt még kritikusabbá teszi az osztályozók online együttesei számára. A legtöbb statisztikai tesztet a megfelelő számú komponens meghatározására használták. A közelmúltban egy elméleti keret azt a feltételezést adta, hogy ideális számú osztályozó van egy együttesben, így az ennél az ideális számnál nagyobb vagy kisebb osztályozók száma a pontosság romlásához vezet. Ezt hívják a „csökkenő hozamok törvényének az együttes építésben”. Ez az elméleti keret azt mutatja, hogy az osztálycímkék számával megegyező számú független osztályozó használata biztosítja a legnagyobb pontosságot [10] [11] .

Általánosan használt együttes típusok

Bayesi optimális osztályozó

A Bayes-féle optimális osztályozó egy osztályozási technika. Ez az összes hipotézis együttese a hipotézisek teréből. Átlagosan egyik együttes sem haladhatja meg [12] . Az egyszerű Bayes-féle optimális osztályozó egy olyan verzió, amely feltételezi, hogy az adatok feltételesen függetlenek az osztálytól, és valós időben hajtja végre a számításokat. Minden hipotézis annak a valószínűségével arányos szavazatot kap, hogy a képzési adatok kiválasztásra kerülnek a rendszerből, ha a hipotézis igaz lenne. A véges méretű betanítási adatok megszerzéséhez az egyes hipotézisek szavazatát megszorozzuk az adott hipotézis előzetes valószínűségével. A Bayes-féle optimális osztályozó a következő egyenlőséggel fejezhető ki:

,

ahol a megjósolt osztály az összes lehetséges osztály halmaza, a hipotézisek osztálya , a valószínűségre utal , és a betanítási adatok. Együttesként a Bayes-féle optimális osztályozó olyan hipotézist képvisel, amely nem feltétlenül tartozik a -hoz . A Bayes-féle optimális osztályozó által képviselt hipotézis azonban az optimális hipotézis az ensembles terében (az összes lehetséges ensemble csak térhipotézisekből álló tere ).

A képlet átírható Bayes-tétellel , amely szerint a posterior valószínűség arányos az előzetes valószínűséggel:

ahol

Zsákolás

A Bootstrap aggregáció, amelyet gyakran bagging-re rövidítenek, az együttes minden modelljének azonos súlyt (hangot) ad. A variancia fenntartása érdekében a zsákolás az együttes minden modelljét a képzési készlet egy véletlenszerűen kiválasztott részhalmazával képezi ki. Példaként említjük, hogy a véletlenszerű erdő algoritmus véletlenszerű döntési fákat kombinál a zsákolással, hogy nagy besorolási pontosságot érjen el [13] .

Boosting

A Boosting lépésenként építi fel az együttest azáltal, hogy minden új modellt betanít, hogy kiemelje azokat a képzési példányokat, amelyeket a korábbi modellek rosszul osztályoztak. Egyes esetekben az erősítés jobb eredményeket ad, mint a zsákolás, de hajlamos az edzésadatokra túltenni. A fokozás leggyakoribb megvalósítása az AdaBoost algoritmus , bár néhány újabb algoritmusról azt állították, hogy jobb eredményeket ad.

Bayesi átlagolás

A Bayes - paraméter-átlagolás (BPA) egy olyan  ensemble building technika, amely a hipotézistérből való mintavételezéssel és a Bayes-törvény [14] alapján történő kombinálásával próbál közelíteni egy Bayes-féle optimális osztályozót . A Bayes-féle optimális osztályozóval ellentétben a bayesi átlagolási modell gyakorlatilag megvalósítható. A hipotéziseket általában Monte Carlo technikával választják ki , például MCMC . Például a Gibbs-mintavétel használható olyan hipotézisek mintájára, amelyek egy eloszlást képviselnek . Kimutatták, hogy bizonyos körülmények között, ha a hipotéziseket így választjuk meg és a Bayes-törvény szerint átlagoljuk, ennek a technikának a várható hibája a Bayes-féle optimális osztályozó várható hibájának kétszeresére korlátozódik [15] . Ennek a technikának az elméleti helyessége ellenére a korai munkában, kísérleti adatok alapján azt sugallták, hogy a módszer hajlamos a túlillesztésre, és rosszabbul viselkedik, mint az olyan egyszerű összeállítási technikák, mint a zsákolás [16] . Ezek a következtetések azonban a Bayes-féle átlagolási modell céljának félreértésén alapultak a modellek kombinációjára [17] . Emellett jelentős előnyökkel jár a BMA elmélete és gyakorlata. A közelmúltban szerzett szigorú bizonyítékok a BMA pontosságát mutatják a változók kiválasztására és becslésére többváltozós feltételek mellett [18] , és empirikus bizonyítékot szolgáltatnak a BMA ritkaság biztosításának alapvető szerepére a túlillesztés enyhítésében [19] .

Bayes-modellek kombinációja

A Bayes -féle modellkombináció (BMC) a Bayes-féle modellátlagolás ( BMA ) algoritmikus korrekciója .  Ahelyett, hogy az összes modellt egyenként választaná ki az ensemble-ben, az algoritmus a lehetséges együttesek teréből választ (az egységes paraméterekkel rendelkező Dirichlet-eloszlásból véletlenszerűen kiválasztott modellsúlyokkal). Ezzel a módosítással elkerülhető, hogy a BMU egy modell teljes súlyát adja meg. Bár a CBM számítási szempontból valamivel pazarlóbb, mint az MBM, lényegesen jobb eredményeket ad. A BMS eredmények átlagosan jobbnak bizonyultak, mint a BMS és a zsákolás [20] .  

A Bayes-törvény használata a modellsúlyok kiszámítására elkerülhetetlenül magában foglalja az adatok valószínűségének kiszámítását minden modellhez. Jellemzően az együttesben lévő modellek egyike sem pontosan ugyanolyan eloszlású, mint a képzési adatok, amelyekből előállították, így minden kifejezés helyesen nullához közeli értéket kap. Ez jól működne, ha az együttes elég nagy lenne ahhoz, hogy a teljes modelltérből vegyen mintát, de ez ritkán lehetséges. Ezért a képzési halmaz minden egyes tagja az együttes súlyának eltolódását okozza annak a modellnek a felé, amelyik a legközelebb van a képzési adatok eloszlásához. Ez jelentősen csökkenti a túl bonyolult modellkiválasztási módszer szükségességét.

Az együttes lehetséges súlyai ​​a szimplexen fekve ábrázolhatók. A szimplex minden csúcsánál az összes súlyt külön együttes modell adja meg. A BMA egy olyan csúcshoz konvergál, amely eloszlásában közelebb van a betanítási adatokhoz. Ezzel szemben a KBM addig a pontig konvergál, ahol ez az eloszlás a szimplexbe vetül. Más szóval, ahelyett, hogy egy, az eloszláshoz legközelebb álló modellt választanánk, a módszer a disztribúcióhoz legközelebb álló modellek kombinációját keresi.

A BMA eredmények gyakran közelíthetők keresztellenőrzéssel, hogy kiválasszon egy modellt a modellek csoportjából. Hasonlóképpen, a KBM eredmények keresztellenőrzéssel közelíthetők, hogy a lehetséges súlyok véletlenszerű mintájából kiválasszák az együttesek legjobb kombinációját.

Model Bucket

A modellek vödöre egy olyan  együttes építési technika, amely egy modellkiválasztási algoritmust használ az egyes problémákra legjobb modell megszerzéséhez. Ha csak egy feladatot tesztelünk, előfordulhat, hogy a modellkészlet nem teljesít jobban, mint a készlet legjobb modellje, azonban több feladat futtatása esetén az algoritmus általában jobb eredményt ad, mint a halmaz bármely modellje.

A modellválasztás legáltalánosabb módszere a kereszt - mintavétel. Ezt a következő pszeudokód írja le:

A vödörben lévő minden modellhez: Futtassa c-szer: (ahol "c" valamilyen állandó) Az edzési adatokat véletlenszerűen két halmazra osztjuk: A és B. Vonat m az A-n M ellenőrzése B-vel Válassza ki azt a modellt, amely a legmagasabb átlagos eredményt mutatja

A keresztmintavétel a következőképpen írható le: „futtasson mindent az edzéskészleten, és válassza ki a legjobban működőt” [21] .

A kapuzás a  keresztmintavétel általánosítása. A módszer magában foglalja egy másik tanulási modell betanítását annak eldöntésére, hogy a vödörben lévő modellek közül melyik a legjobb a probléma megoldására. Gyakran perceptront használnak a modell elkülönítésére . Használható a "legjobb" modell kiválasztására, vagy használható lineáris súlyozásra az egyes modellek előrejelzéseihez a vödörben.

Ha egy modellgyűjtőt nagy számú feladathoz használnak, kívánatos lehet elkerülni egyes modellek betanítását, amelyek hosszú betanítási időt igényelnek. A mérföldkőnek számító tanulás egy meta-learning megközelítés, amely ezt a problémát igyekszik megoldani. Csak gyors (de pontatlan) algoritmusokat tanít, majd ezen algoritmusok teljesítménye alapján határozza meg, hogy a lassú (de pontos) algoritmusok közül melyiket válassza a legjobbnak [22] .

Halmozás

A halmozás (néha verem általánosításnak nevezik ) magában foglalja egy tanulási algoritmus betanítását, hogy kombinálja több más tanulási algoritmus előrejelzéseit. Először az összes többi algoritmust betanítják érvényes adatokkal, majd a kombináló algoritmusokat arra tanítják, hogy további bemenetként készítsenek végső előrejelzést az összes többi algoritmus előrejelzésével. Ha tetszőleges kombináló algoritmust használunk, akkor a halmozás elméletileg képviselheti a jelen cikkben leírt összes technikát, bár a gyakorlatban gyakran logisztikus regressziós modellt használnak a kombináló algoritmus eszközeként.

A halmozás általában jobb teljesítményt eredményez, mint bármelyik edzési minta önmagában [23] . Sikeresen alkalmazták mind a felügyelt tanulási problémák (regresszió [24] , osztályozás és távoktatás [25] ), mind a nem felügyelt tanulási problémák (sűrűségbecslés) [26] esetén . Használták a zsákolási hiba becslésére is [3] [27] . A módszerről azt állították, hogy felülmúlja a Bayes-féle átlagolási modellt [28] . A Netflix verseny két győztese a keverést alkalmazza , ami a halmozás egy formájának tekinthető [29] .

Megvalósítás statisztikai csomagokban

Ensemble Learning Applications

Az elmúlt években a növekvő számítási teljesítménynek köszönhetően, amely lehetővé teszi a nagy gyakorlóegyüttesek ésszerű időn belüli kiképzését, az alkalmazások száma gyorsan nőtt [35] . Az alábbiakban az osztályozó együttesek néhány alkalmazását mutatjuk be.

A Föld távérzékelése

Vegetation Reflection

A növényzetreflexió a Föld-megfigyelés egyik fő alkalmazása, amely távérzékelést és földrajzi adatokat használ a célterületek felszínén található objektumok felismerésére. A célanyag-osztályok jellemzően utak, épületek, folyók, tavak és növényzet [36] . A mesterséges neurális hálózatokon [37] , a kernel főkomponens-elemzésén ( KPCA ) [38] , a megnövelt döntési fákon [ 39] , a véletlenszerű erdőkön [36] és több osztályozó automatikus létrehozásánalapuló képzési együttesekhez különböző megközelítéseket javasoltak.rendszerek [40] a növénytakaró objektumok hatékony felismerésére .  

Változásérzékelés

A változásészlelés egy képelemző feladat , amely azon helyek azonosításából áll, ahol a növénytakaró idővel megváltozott. A változásészlelés széles körben használatos olyan területeken, mint a városi növekedés , az erdők és a növényzet változásának dinamikája , a földhasználat és a természeti katasztrófák észlelése [41] . Az osztályozók együtteseinek korai alkalmazásait a változás meghatározásában többségi szavazással , Bayes-i átlaggal és utólagos maximumbecsléssel [42] fejlesztették ki .

Számítógép védelem

DoS támadás

Az elosztott szolgáltatásmegtagadásos támadás az egyik legfenyegetőbb kibertámadás , amely az internetszolgáltatókkal történhet [35] . Az egyes osztályozók kimenetének kombinálásával az osztályozók együttese csökkenti az ilyen támadások észlelésének és a legális flash moboktól való elkülönítésének általános hibáját [43] .

Rosszindulatú programok észlelése

A rosszindulatú programkódok , például számítógépes vírusok , férgek , trójaiak , zsarolóprogramok és kémprogramok gépi tanulási technikák segítségével történő osztályozását a dokumentumok kategorizálásának feladata ihlette [44] . Az együttes tanulási rendszerek robusztus teljesítményt mutattak ezen a területen [45] [46] .

Behatolásészlelés

A behatolásészlelő rendszer nyomon követi a számítógépes hálózatot vagy számítógépeket , hogy azonosítsa a behatolási kódokat, hasonlóan egy anomália-észlelési folyamathoz . Az együttes tréning sikeresen segítette az ilyen rendszereket a hibák teljes számának csökkentésében [47] [48] .

Arcfelismerés

Az arcfelismerés , amely a közelmúltban a mintafelismerés legnépszerűbb kutatási területévé vált , egy személy azonosításával vagy ellenőrzésével foglalkozik a digitális képe alapján [49] .

A Fischer Gábor osztályozón és az adat-előfeldolgozási technikákon alapuló hierarchikus együttesek a független komponenselemzésben olyan korai együttesek, amelyeket ezen a területen használtak [50] [51] [52] .

Érzelemfelismerés

Míg a beszédfelismerés főként a mély tanuláson alapul , mivel ezen a területen a legtöbb iparági szereplő, például a Google , a Microsoft és az IBM ezt használja a beszédfelismerő technológia alapjaként , a beszélgetésen alapuló érzelemfelismerés [ kielégítően működhet. 53] [54] .

A módszert sikeresen alkalmazták az arc érzelmeinek felismerésében is [55] [56] [57] .

Csalás felderítése

olyan banki csalások azonosításával foglalkozik, mint például a pénzmosás , a bankkártyás csalás és a távközlési csalás. A csalásfelderítésnek bőven van lehetősége a gépi tanulás kutatására és alkalmazására . Mivel az ensemble learning javítja a normál szimulációs viselkedés robusztusságát, hatékony módszerként javasolták az ilyen csalások és gyanús banki tevékenységek észlelésére a hitelkártya-rendszerekben [58] [59] .

Pénzügyi döntések meghozatala

A kereskedelmi kudarcok előrejelzésének pontossága kritikus kérdés a pénzügyi döntések meghozatalában, ezért különféle osztályozó-csoportokat javasoltak a pénzügyi válságok és pénzügyi összeomlások előrejelzésére [60] . Ugyancsak az ajánlat alapú manipulációs problémában , ahol a kereskedők vétellel vagy eladással próbálják manipulálni a részvényárakat , osztályozók együttesére van szükség a tőzsdei adatok változásainak elemzésére és a gyanús részvényárfolyam - manipuláció tüneteinek azonosítására [60] .

Orvostudomány

Az osztályozó rendszert sikeresen alkalmazták az idegtudományokban , a proteomikában és az orvosi diagnosztikában , például a neurokognitív rendellenességek (azaz Alzheimer-kór vagy myotóniás dystrophia ) felismerésében mágneses rezonancia képalkotási adatokon [61] [62] [63]. vagy a cervicalis citológia osztályozása mikroszkópos vizsgálat alapján [64] [65] .

Lásd még

  • Együttes átlagolás (gépi tanulás)
  • Bayesi strukturális idősor (BSTS)

Jegyzetek

  1. ↑ Opitz, Maclin, 1999 , p. 169-198.
  2. ↑ Polikar, 2006 , p. 21-45.
  3. ↑ 1 2 Rokach, 2010 , p. 1-39.
  4. ↑ Kuncheva, Whitaker, 2003 , p. 181-207.
  5. ↑ Sollich és Krogh 1996 , p. 190-196, 1996.
  6. ↑ Brown, Wyatt, Harris, Yao, 2005 , p. 5-20.
  7. ↑ Adeva, Cerviño, Calvo, 2005 .
  8. ↑ Ho, 1995 , p. 278-282.
  9. ↑ Gashler, Giraud-Carrier, Martinez, 2008 , p. 900-905.
  10. ↑ Bonab, Can, 2016 , p. 2053.
  11. ↑ Bonab, Can, 2017 .
  12. ↑ Mitchell, 1997 , p. 175.
  13. ↑ Breiman, 1996 , p. 123-140.
  14. ↑ Hoeting, Madigan, Raftery, Volinsky, 1999 , p. 382–401.
  15. ↑ Haussler, Kearns, Schapire, 1994 , p. 83–113.
  16. ↑ Domingos, 2000 , p. 223–230.
  17. ↑ Minka, 2002 .
  18. ↑ Castillo, Schmidt-Hieber, van der Vaart, 2015 , p. 1986–2018
  19. ↑ Hernandez-Lobato, Hernandez-Lobato, Dupont, 2013 , p. 1891–1945
  20. ↑ Monteith, Carroll, Seppi, Martinez, 2011 , p. 2657-2663.
  21. ↑ Dzeroski, Zenko, 2004 , p. 255-273.
  22. ↑ Bensusan, Giraud-Carrier, 2000 , p. 325-330.
  23. ↑ Wolpert, 1992 , p. 241-259.
  24. ↑ Breiman, 1996 .
  25. ↑ Ozay, Vural, 2013 .
  26. ↑ Smyth, Wolpert, 1999 , p. 59-83.
  27. ↑ Wolpert, Macready, 1999 , p. 41-55.
  28. ↑ Clarke, 2003 , p. 683-712.
  29. ↑ Sill, Takacs, Mackey, Lin, 2009 .
  30. ↑ Amini, Parmeter, 2011 , p. 253–287.
  31. ↑ BMS: Bayesian Model Averaging Library . Az Átfogó R Archívum Hálózat . Letöltve: 2016. szeptember 9. Az eredetiből archiválva : 2020. november 28..
  32. ↑ BAS: Bayes-féle modellátlagolás Bayesi adaptív mintavételezéssel . Az Átfogó R Archívum Hálózat . Letöltve: 2016. szeptember 9. Az eredetiből archiválva : 2020. október 7..
  33. ↑ BMA: Bayes-féle modellátlagolás . Az Átfogó R Archívum Hálózat . Letöltve: 2016. szeptember 9. Az eredetiből archiválva : 2021. május 7.
  34. ↑ Osztályozási együttesek . MATLAB & Simulink . Letöltve: 2017. június 8. Az eredetiből archiválva : 2020. december 1..
  35. ↑ 1 2 Woźniak, Graña, Corchado, 2014 , p. 3–17.
  36. ↑ 1 2 Rodriguez-Galiano, Ghimire, Rogan et al., 2012 , p. 93–104.
  37. ↑ Giacinto, Roli, 2001 , p. 699–707.
  38. ↑ Xia, Yokoya, Iwasaki, 2017 , p. 6185-6189.
  39. ↑ Mochizuki, Murakami, 2012 , p. 126-133.
  40. ↑ Giacinto, Roli, Fumera, 2000 , p. 160-163.
  41. ↑ Du, Liu, Xia, Zhao, 2013 , p. 19–27.
  42. ↑ Bruzzone, Cossu, Vernazza, 2002 , p. 289–297.
  43. ↑ Raj Kumar, Selvakumar, 2011 , p. 1328–1341.
  44. ↑ Shabtai, Moskovitch, Elovici, Glezer, 2009 , p. 16–29.
  45. ↑ Zhang, Yin, Hao, Zhang, Wang, 2007 , p. 468-477.
  46. ↑ Menahem, Shabtai, Rokach, Elovici, 2009 , p. 1483–1494
  47. ↑ Locasto, Wang, Keromytis, Salvatore, 2005 , p. 82-101.
  48. ↑ Giacinto, Perdisci, Del Rio, Roli, 2008 , p. 69–82.
  49. ↑ Mu, Lu, Watta, Hassoun, 2009 .
  50. ↑ Yu, Shan, Chen, Gao, 2006 , p. 91-96.
  51. ↑ Yu, Shan, Chen, Gao, 2006 , p. 528-531.
  52. ↑ Liu, Lin, Chen, 2008 , p. 144-148.
  53. ↑ Rieger, Muraleedharan, Ramachandran, 2014 , p. 589-593.
  54. ↑ Krajewski, Batliner, Kessel, 2010 , p. 3716-3719.
  55. ↑ Rani, Muneeswaran, 2016 , p. 10017–10040.
  56. ↑ Rani, Muneeswaran, 2016 , p. 1655020.
  57. ↑ Rani, Muneeswaran, 2018 .
  58. ↑ Louzada, Ara, 2012 , p. 11583–11592.
  59. ↑ Sundarkumar, Ravi, 2015 , p. 368–377.
  60. ↑ 1 2 Kim és Sohn, 2012 , p. 8986–8992.
  61. ↑ Savio, García-Sebastián, Chyzyk et al., 2011 , p. 600–610.
  62. ↑ Ayerdi, Savio, Graña, 2013 , p. 122-130.
  63. ↑ Gu, Ding, Zhang, 2015 , p. 110–118.
  64. ↑ Dan Xue, Xiaomin Zhou, Chen Li, Yudong Yao, Md Mamunur Rahaman. A transzfertanulás és az együttes tanulási technikák alkalmazása a cervicalis hisztopatológiai képosztályozáshoz  // IEEE Access. - 2020. - T. 8 . — S. 104603–104618 . — ISSN 2169-3536 . - doi : 10.1109/ACCESS.2020.2999816 . Az eredetiből archiválva : 2021. augusztus 31.
  65. ↑ Ankur Manna, Rohit Kundu, Dmitrii Kaplun, Alexander Sinitca, Ram Sarkar. CNN-modellek fuzzy rang alapú együttese a cervicalis citológia osztályozására  //  Tudományos jelentések. – 2021-12. — Vol. 11 , iss. 1 . - P. 14538 . — ISSN 2045-2322 . - doi : 10.1038/s41598-021-93783-8 . Az eredetiből archiválva : 2021. augusztus 31.

Irodalom

  • Opitz D., Maclin R. Népszerű együttes módszerek: empirikus tanulmány // Journal of Artificial Intelligence Research . - 1999. - T. 11 . - S. 169-198 . - doi : 10.1613/jair.614 .
  • Polikar R. Ensemble alapú rendszerek a döntéshozatalban // IEEE Circuits and Systems Magazine. - 2006. - T. 6 , sz. 3 . - S. 21-45 . - doi : 10.1109/MCAS.2006.1688199 .
  • Rokach L. Együttes alapú osztályozók // Artificial Intelligence Review. - 2010. - T. 33 , sz. 1-2 . - doi : 10.1007/s10462-009-9124-7 .
  • Kuncheva L., Whitaker C. Measures of diversity in classifier ensembles and Their Relationship with the Ensemble Accuracy // Machine Learning. - 2003. - T. 51 , sz. 2 .
  • Sollich P., Krogh A. Tanulás együttesekkel: Hogyan lehet hasznos a túlillesztés // Advances in Neural Information Processing Systems. - 1996. - T. 8 .
  • Brown G., Wyatt J., Harris R., Yao X. Sokféleség létrehozásának módszerei: felmérés és kategorizálás // Information Fusion. - 2005. - T. 6 , sz. 1 .
  • JJ Garcia Adeva, Ulises Cerviño, R. Calvo. Pontosság és sokféleség a szövegkategóriák együttesében  // CLEI Journal. - 2005. - december ( 8. köt. 2. szám ). Archiválva az eredetiből 2011. július 7-én.
  • Ho T. Random Decision Forests // A harmadik nemzetközi dokumentumelemzési és -elismerési konferencia anyaga. – 1995.
  • Gashler M., Giraud-Carrier C., Martinez T. Decision Tree Ensemble: Small Heterogeneous Is Better Than Large Homogeneous // The Seventh International Conference on Machine Learning and Applications . - 2008. - doi : 10.1109/ICMLA.2008.154 .
  • Hamed R. Bonab, Fazli Can. Elméleti keret az adatfolyamokban lévő online együttesek osztályozóinak ideális számáról // 25. információ- és tudásmenedzsment konferencia . – USA: ACM, 2016. – doi : 10.1145/2983323.2983907 .
  • Hamed R. Bonab, Fazli Can. A Less Is More: Átfogó keretrendszer az ensemble osztályozók komponenseinek számához // IEEE Transactions on Neural Networks and Learning Systems 2017 . USA: IEEE, 2017.
  • Tom M. Mitchell . gépi tanulás. - McGraw-Hill Science/Engineering/Math, 1997. - ISBN 0070428077 .
  • Breiman, L. Bagging Predictors // Gépi tanulás. - 1996. - T. 24 , sz. 2 .
  • Hoeting JA, Madigan D., Raftery AE, Volinsky CT Bayesian Model Averaging: A Tutorial // Statisztikai tudomány. - 1999. - T. 14 , sz. 4 . - doi : 10.2307/2676803 . — .
  • David Haussler, Michael Kearns, Robert E. Schapire. A Bayes-i tanulás mintakomplexitásának határai az információelmélet és a VC dimenzió segítségével // Machine Learning. - 1994. - T. 14 .
  • Pedro Domingos. Az osztályozók bayesi átlagolása és a túlillesztési probléma // Proceedings of the 17th International Conference on Machine Learning (ICML) . - 2000. - S. 223--230.
  • Thomas Minka. A Bayes-féle modellátlagolás nem modellkombináció . – 2002.
  • Castillo I., Schmidt-Hieber J., van der Vaart A. Bayesi lineáris regresszió ritka priorokkal // Annals of Statistics . - 2015. - T. 43 , sz. 5 . - doi : 10.1214/15-AOS1334 . - arXiv : 1403.0735 .
  • Hernández-Lobato D., Hernández-Lobato JM, Dupont P. Generalized Spike-and-Slab Priors for Bayesian Group Feature Selection Using Expectation Propagation  // Journal of Machine Learning Research. - 2013. - T. 14 .
  • A Bayes-féle modellátlagolás bayesi modellkombinációvá alakítása // A Neurális Hálózatok Nemzetközi Közös Konferenciájának IJCNN'11 anyaga . - 2011. - S. 2657-2663.
  • Saso Dzeroski, Bernard Zenko. Jobb-e az osztályozók kombinálása, mint a legjobb kiválasztása  // Gépi tanulás. – 2004.
  • Hilan Bensusan, Christophe G. Giraud-Carrier. Feladatkörzetek felfedezése mérföldkőnek számító tanulási teljesítményeken keresztül // PKDD '00: Az adatbányászat és a tudásfeltárás elveiről szóló 4. európai konferencia előadásai. – Springer-Verlag, 2000.
  • Smyth P., Wolpert DH Sűrűségbecslések lineáris kombinálása halmozással // Machine Learning Journal. - 1999. - T. 36 .
  • Wolpert DH, Macready WG Hatékony módszer a bagging általánosítási hibájának becslésére // Machine Learning Journal. - 1999. - T. 35 .
  • Clarke B. Bayes modellátlagolás és halmozás, amikor a modell közelítési hibát nem lehet figyelmen kívül hagyni // Journal of Machine Learning Research. – 2003.
  • Wolpert D. Halmozott általánosítás // Neurális hálózatok. - 1992. - V. 5 , sz. 2 .
  • Breiman L. Stacked Regression // Gépi tanulás. - 1996. - T. 24 . - doi : 10.1007/BF00117832 .
  • Ozay M., Yarman Vural FT Egy új fuzzy halmozott általánosítási technika és teljesítményének elemzése. - 2013. - . - arXiv : 1204.0171 .
  • Sill J., Takacs G., Mackey L., Lin D. Feature-Weighted Linear Stacking. - 2009. - . - arXiv : 0911.0460 .
  • Shahram M. Amini, Christopher F. Parmeter. Bayes-féle modell átlagolása in R  // Journal of Economic and Social Measurement. - 2011. - T. 36 , sz. 4 .
  • Michał Woźniak, Manuel Graña, Emilio Corchado. Több osztályozó rendszer áttekintése hibrid rendszerekként // Information Fusion. - 2014. - március ( 16. évf. ). - doi : 10.1016/j.inffus.2013.04.006 .
  • Rodriguez-Galiano VF, Ghimire B., Rogan J., Chica-Olmo, M., Rigol-Sanchez JP Egy véletlenszerű erdőosztályozó hatékonyságának értékelése a talajtakaró osztályozáshoz // ISPRS Journal of Photogrammetry and Remote Sensing. - 2012. - T. 67 . - doi : 10.1016/j.isprsjprs.2011.11.002 . — Iránykód .
  • Giorgio Giacinto, Fabio Roli. Hatékony neurális hálózati együttesek tervezése képosztályozási célokra // Image and Vision Computing. - 2001. - augusztus ( 19. évf. , 9-10. szám ). - doi : 10.1016/S0262-8856(01)00045-2 .
  • Junshi Xia, Naoto Yokoya, Yakira Iwasaki. A hiperspektrális és LiDAR adatok újszerű együttes osztályozója morfológiai jellemzők segítségével // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - 2017. - március. - doi : 10.1109/ICASSP.2017.7953345 .
  • Mochizuki S., Murakami T. A földtakaró térképezés pontosságának összehasonlítása az objektum-orientált képosztályozás használatával gépi tanulási algoritmusokkal // 33rd Asian Conference on Remote Sensing 2012, ACRS 2012. - 2012. - November ( 1. köt. ).
  • Giacinto G., Roli F., Fumera G. Hatékony többszörös osztályozó rendszerek tervezése osztályozók klaszterezésével // Proceedings 15th International Conference on Pattern Recognition. ICPR-2000. - 2000. - szeptember. - doi : 10.1109/ICPR.2000.906039 .
  • Peijun Du, Sicong Liu, Junshi Xia, Yindi Zhao. Információfúziós technikák a többidős távérzékelési képek változásainak észleléséhez // Information Fusion. - 2013. - január ( 14. évf. , 1. szám ). - doi : 10.1016/j.inffus.2012.05.003 .
  • Lorenzo Bruzzone, Roberto Cossu, Gianni Vernazza. Paraméteres és nem paraméteres algoritmusok kombinálása a többidős távérzékeléses képek részlegesen felügyelet nélküli osztályozására // Information Fusion. - 2002. - December ( 3. köt. , 4. szám ). - doi : 10.1016/S1566-2535(02)00091-X .
  • P. Arun Raj Kumar, S. Selvakumar. Elosztott szolgáltatásmegtagadási támadások észlelése neurális osztályozó együttes használatával // Computer Communications. - 2011. - július ( 34. évf. , 11. szám ). - doi : 10.1016/j.comcom.2011.01.012 .
  • Asaf Shabtai, Robert Moskovitch, Yuval Elovici, Chanan Glezer. Rosszindulatú kód észlelése statikus jellemzőkre vonatkozó gépi tanulási osztályozók alkalmazásával: A legkorszerűbb felmérés // Információbiztonsági műszaki jelentés. - 2009. - február ( 14. évf. , 1. szám ). - doi : 10.1016/j.istr.2009.03.003 .
  • Boyun Zhang, Jianping Yin, Jingbo Hao, Dingxing Zhang, Shulin Wang. Rosszindulatú kódok észlelése együttes tanulás alapján // Autonóm és megbízható számítástechnika. - 2007. - doi : 10.1007/978-3-540-73547-2_48 .
  • Eitan Menahem, Asaf Shabtai, Lior Rokach, Yuval Elovici. A rosszindulatú programok észlelésének javítása többindukáló együttes alkalmazásával // Számítási statisztika és adatelemzés. - 2009. - február ( 53. évf. , 4. szám ). - doi : 10.1016/j.csda.2008.10.015 .
  • Michael E. Locasto, Ke Wang, Angeles D. Keromytis, J. Stolfo Salvatore. FLIPS: Hibrid adaptív behatolásmegelőzés // A behatolásészlelés legújabb fejlesztései. - 2005. - doi : 10.1007/11663812_5 .
  • Giorgio Giacinto, Roberto Perdisci, Mauro Del Rio, Fabio Roli. Behatolásészlelés számítógépes hálózatokban egy osztályú osztályozók moduláris együttesével // Information Fusion. - 2008. - január ( 9. köt. 1. szám ). - doi : 10.1016/j.inffus.2006.10.002 .
  • Xiaoyan Mu, Jiangfeng Lu, Paul Watta, Mohamad H. Hassoun. Súlyozott szavazáson alapuló együttes osztályozók emberi arcfelismeréssel és hangfelismeréssel // 2009 International Joint Conference on Neural Networks. - 2009. - július. - doi : 10.1109/IJCNN.2009.5178708 .
  • Su Yu, Shiguang Shan, Xilin Chen, Wen Gao. Fisher Gábor arcfelismerési osztályozó hierarchikus együttese // Automatic Face and Gesture Recognition, 2006. FGR 2006. 7th International Conference on Automatic Face and Gesture Recognition (FGR06). - 2006. - április. - doi : 10.1109/FGR.2006.64 .
  • Su Yu, Shiguang Shan, Xilin Chen, Wen Gao. Patch-based Gabor Fisher osztályozó az arcfelismeréshez // Proceedings - International Conference on Pattern Recognition. - 2006. - szeptember ( 2. köt. ). - doi : 10.1109/ICPR.2006.917 .
  • Yang Liu, Yongzheng Lin, Yuehui Chen. Ensemble Classification Based on ICA for Face Recognition  // Proceedings - 1st International Congress on Image and Signal Processing, IEEE Conference, CISP 2008. - 2008. - July. - doi : 10.1109/CISP.2008.581 .
  • Steven A. Rieger, Rajani Muraleedharan, Ravi P. Ramachandran. Beszédalapú érzelemfelismerés spektrális jellemzők kivonásával és kNN osztályozók együttesével // Proceedings of the 9th International Symposium on Chinese Spoken Language Processing, ISCSLP 2014. - 2014. - doi : 10.1109/ISCSLP.2014.193 .
  • Jarek Krajewski, Anton Batliner, Silke Kessel. Több osztályozó összehasonlítása az önbizalom beszédalapú kimutatására – kísérleti tanulmány // 20. Nemzetközi Konferencia a Mintafelismerésről. - 2010. - doi : 10.1109/ICPR.2010.905 .
  • P. Ithaya Rani, K. Muneeswaran. Ismerje fel az arc érzelmeit a videoszekvenciákban a szem és a száj időbeli Gabor funkcióinak segítségével // Multimédiás eszközök és alkalmazások. - 2016. - május ( 76. évf. , 7. szám ). - doi : 10.1007/s11042-016-3592-y .
  • P. Ithaya Rani, K. Muneeswaran. Arcérzelemfelismerés a szem és a száj régiói alapján // International Journal of Pattern Recognition and Artificial Intelligence. - 2016. - augusztus ( 30. évf. , 07. szám ). - doi : 10.1142/S021800141655020X .
  • P. Ithaya Rani, K. Muneeswaran. Érzelemfelismerés az arc összetevői alapján // Sādhanā. - 2018. - március ( 43. évf. , 3. szám ). - doi : 10.1007/s12046-018-0801-6 .
  • Francisco Louzada, Anderson Ara. K-függő valószínűségi hálózatok zsákolása: alternatív hatékony csalásészlelő eszköz // Expert Systems with Applications. - 2012. - október ( 39. évf. , 14. szám ). - doi : 10.1016/j.eswa.2012.04.024 .
  • G. Ganesh Sundarkumar, Vadlamani Ravi. Egy új hibrid alulmintavételi módszer a kiegyensúlyozatlan adatkészletek bányászatához a banki és biztosítási szektorban // A mesterséges intelligencia mérnöki alkalmazásai. - 2015. - január ( 37. köt. ). - doi : 10.1016/j.engappai.2014.09.019 .
  • Yoonseong Kim, So Young Sohn. Részvénycsalás észlelése peer group elemzéssel // Expert Systems with Applications. - 2012. - augusztus ( 39. évf. , 10. szám ). - doi : 10.1016/j.eswa.2012.02.025 .
  • Yoonseong Kim, So Young Sohn. Részvénycsalás észlelése peer group elemzéssel // Expert Systems with Applications. - 2012. - augusztus ( 39. évf. , 10. szám ). - doi : 10.1016/j.eswa.2012.02.025 .
  • Savio A., García-Sebastián MT, Chyzyk D., Hernandez C., Graña M., Sistiaga A., López de Munain A., Villanúa J. Neurokognitív rendellenességek kimutatása a strukturális MRI VBM elemzéséből kivont jellemzővektorok alapján // Számítógépek a biológiában és az orvostudományban. - 2011. - augusztus ( 41. évf. , 8. szám ). - doi : 10.1016/j.compbiomed.2011.05.010 .
  • Ayerdi B., Savio A., Graña M. Osztályozók meta-együttesei Alzheimer-kór kimutatására független ROI jellemzők használatával // Számítástechnikai előadásjegyzetek (beleértve a Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics alsorozatokat). - 2013. - június ( 2. kiadás ). - doi : 10.1007/978-3-642-38622-0_13 .
  • Quan Gu, Yong-Sheng Ding, Tong-Liang Zhang. Egy együttes osztályozó alapú előrejelzés a G-protein-kapcsolt receptor osztályokról alacsony homológiában // Neurocomputing. - 2015. - április ( 154. köt. ). - doi : 10.1016/j.neucom.2014.12.013 .

Olvasás további olvasáshoz

  • Zhou Zhihua. Együttes módszerek: alapok és algoritmusok. - Chapman és Hall/CRC, 2012. - ISBN 978-1-439-83003-1 .
  • Robert Schapire, Yoav Freund. Erősítés: alapok és algoritmusok. - MIT, 2012. - ISBN 978-0-262-01718-3 .

Linkek

  • Waffles rendszer , amely tartalmazza a zsákolás, növelés, bayesi modellátlagolás, bayesi modellkombináció, modell vödör és más összeállítási technikák megvalósításait.