Lineáris diszkriminancia analízis

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2022. január 10-én felülvizsgált verziótól ; az ellenőrzéshez 1 szerkesztés szükséges .

A lineáris diszkriminanciaanalízis ( LDA , eng. Linear Discriminant Analysis , LDA ), a normál diszkriminanciaanalízis ( eng. Normal Discriminant Analysis , NDA) vagy a diszkriminancia-elemzés ( eng. Discriminant Function Analysis ) a Fisher-féle lineáris diszkriminancia , egy módszer általánosítása. statisztika , mintafelismerés és oktatógépek a funkciók lineáris kombinációjának megtalálásához , amely két vagy több osztályt vagy eseményt ír le vagy választ el egymástól. Az eredményül kapott kombináció használható lineáris osztályozóként , vagy gyakrabban az osztályozás előtti méretcsökkentésre .

Az LDA szorosan kapcsolódik a varianciaanalízishez ( analysis Of Variance =ANOVA) és a regressziós elemzéshez , amelyek egy függő változót is megpróbálnak kifejezni más jellemzők vagy mérések lineáris kombinációjaként [1] [2] . A varianciaanalízis azonban kvalitatív független változókat és folytonos függő változót használ , míg a diszkriminanciaanalízis folyamatos független változókat és egy minőségi függő változót ( azaz osztálycímkét) [3] . A logisztikus regresszió és a probit regresszió jobban hasonlít az LDA-hoz, mint a varianciaanalízishez, mivel egy minőségi változót is magyaráznak folytonos magyarázó változók formájában. Ezeket az egyéb módszereket előnyben részesítik azokban az alkalmazásokban, ahol nincs ok azt feltételezni, hogy a független változók normális eloszlásúak, ami az LDA módszer alapvető feltételezése.

Az LDA szorosan kapcsolódik a főkomponens - analízishez ( PCA) és a faktoranalízishez is, mivel olyan változók lineáris kombinációit keresik, amelyek a legjobban magyarázzák az adatokat [ 4] . Az LDA kifejezetten megpróbálja modellezni az adatosztályok közötti különbséget. A PCA ezzel szemben nem veszi figyelembe az osztályok közötti különbségeket, és a faktoranalízis nem hasonlóságok, hanem különbségek alapján építi fel a jellemzők kombinációit. A diszkriminanciaanalízis abban is különbözik a faktoranalízistől, hogy nem független technika - ahhoz, hogy működjön, különbséget kell tenni a független változók és a függő változók között (ez utóbbiakat kritériumváltozóknak is nevezik).

Az LDA akkor működik, ha az egyes megfigyelések független változóin végzett mérések folyamatosak. A kvalitatív független változók kezelésénél az ekvivalens technika a diszkrimináns korrespondencia analízis [5] [6] .

A diszkriminanciaanalízist akkor használjuk, ha a csoportok eleve ismertek (a klaszteranalízissel ellentétben ). Minden esetnek rendelkeznie kell egy értékkel a mennyiségi előrejelzés egy vagy több mérőszámában és egy értékkel a csoportmértékben [7] . Egyszerűen fogalmazva, a diszkrimináns függvényelemzés olyan osztályozás, amely az objektumokat csoportokra, osztályokra vagy valamilyen típusú kategóriákra osztja.

Történelem

Az eredeti dichotóm diszkriminanciaanalízist Sir Ronald Fisher dolgozta ki 1936-ban [8] . Ez különbözik az ANOVA -tól vagy a többváltozós ANOVA -tól , amelyek egy vagy több (többváltozós ANOVA) folytonos függő változó előrejelzésére szolgálnak egy vagy több minőségi független változóból. A diszkrimináns függvényelemzés hasznos annak meghatározására, hogy egy változóhalmaz hatékony-e a kategóriatagság előrejelzésében [9] .

LDA két osztályhoz

Fontolja meg a megfigyelések halmazát (más néven jellemzőket, attribútumokat, változókat vagy dimenziókat) egy ismert osztályú objektum vagy esemény minden egyes példányához . Ezt a mintakészletet tanítókészletnek nevezzük . Az osztályozás feladata ilyenkor jó előrejelzőt találni bármely azonos eloszlású képviselő osztályára (nem feltétlenül a képzési halmazból), ha csak a megfigyelést kapjuk [10] . ${\vec {x))$ $y$ $y$ $\vec x$

Az LDA azzal a feltételezéssel közelíti meg a problémát, hogy a feltételes valószínűségi eloszlások és normális eloszlásúak átlagos és kovariancia paraméterekkel , ill. Ezen feltevések mellett a Bayes-féle optimális megoldás azt jósolja, hogy egy pont a második osztályba tartozik, ha a valószínűségi hányados meghaladja valamelyik (küszöb) T értéket, így: $p({\vec {x}}|y=0)$ $p({\vec {x}}|y=1)$ $\left({\vec {\mu }}_{0},\Sigma _{0}\right)$ $\left({\vec {\mu }}_{1},\Sigma _{1}\right)$

({\vec {x}}-{\vec {\mu }}_{0})^{T}\Sigma _{0}^{-1}({\vec {x}}-{ \vec {\mu }}_{0})+\ln |\Sigma _{0}|-({\vec {x}}-{\vec {\mu }}_{1})^{T} \Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-\ln |\Sigma _{1}|\ >\ T

További feltevések nélkül a osztályozót QDA -nak nevezzük .

Ehelyett az LDA azt a további leegyszerűsítő feltevést teszi , hogy homoszkedasztikus ( vagyis, hogy a kovarianciaosztályok azonosak, tehát ), és hogy a kovariancia teljes rangú. Ebben az esetben több tag kizárásra kerül: $\Sigma _{0}=\Sigma _{1}=\Sigma$

{\vec {x}}^{T}\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{T}\Sigma _{1} ^{-1}{\vec {x}}

{\vec {x}}^{T}{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}=({\vec {\mu }}_ {i}}^{T}{\Sigma _{i}}^{-1}{\vec {x}}

, mivel ez hermitikus , és a fent leírt döntési kritérium lesz a skalárszorzat küszöbértéke

{\displaystyle \Sigma _{i))

{\vec {w}}\cdot {\vec {x}}>c

valamilyen c küszöbállandóra , ahol

{\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})

c={\frac {1}{2}}(T-{{\vec {\mu }}_{0}}^{T}\Sigma _{0}^{-1}{{\ vec {\mu }}_{0}}+{{\vec {\mu }}_{1}}^{T}\Sigma _{1}^{-1}{{\vec {\mu }} _{egy}})

Ez azt jelenti, hogy az osztályba való belépés kritériuma csak az ismert megfigyelések ezen lineáris kombinációjának függvénye. ${\vec {x))$ $y$

Ezt a következtetést gyakran célszerű a geometria szemszögéből látni: az osztályba való bemenet kritériuma a többdimenziós térben lévő pont vektorra való vetületének függvénye (csak a vektor irányát vesszük figyelembe). Más szóval, egy megfigyelés akkor tartozik a -hoz , ha a megfelelő a hipersík egy adott oldalán helyezkedik el, merőlegesen -ra . A sík helyzetét a c küszöbérték határozza meg. ${\vec {x))$ $y$ ${\vec {x))$ ${\vec {w))$ $y$ ${\vec {x))$ ${\vec {w))$

Feltételezések

A diszkriminanciaanalízis feltételezései megegyeznek a többváltozós varianciaanalízissel. Az elemzés nagyon érzékeny a kiugró értékekre, és a legkisebb csoport méretének nagyobbnak kell lennie, mint a prediktor (független) változók száma [7] .

Többváltozós normalitás : A független változók a csoportosító változó bármely szintjén normálisak [9] [7] .
Variancia/kovariancia egységessége ( homoskedaszticitás ): A csoportváltozók közötti eltérések minden prediktor szinten azonosak. Ez a Box M-statisztikája [9] segítségével ellenőrizhető . Javasoljuk azonban, hogy lineáris diszkriminanciaanalízist alkalmazzanak, ha a kovariancia egyenlő, és ha a kovariancia nem egyenlő, akkor a másodfokú diszkriminancia analízis használható [7] .
Multikollinearitás : Az előrejelzés ereje csökkenhet, ahogy a prediktor (független) változók közötti korreláció nő [7] .
Függetlenség : Feltételezzük, hogy az elemek véletlenszerűen oszlanak el, és egy tétel egyik változójának pontszáma független egy másik változó pontszámától [9] [7] .

A diszkriminanciaanalízisről azt feltételezzük, hogy viszonylag stabil, tekintettel ezeknek a feltételezéseknek a kismértékű megsértésére [11] . Kimutatták, hogy a diszkriminanciaanalízis elfogadható maradhat, ha dichotóm valószínűségi változókat használnak (amikor a többváltozós normalitást gyakran megsértik) [12] .

Diszkrimináns függvények

A diszkriminanciaelemzés a prediktorok egy vagy több lineáris kombinációjának létrehozásával működik, új látens változót állítva elő minden egyes jellemzőhöz. Ezeket a jellemzőket megkülönböztető jellemzőknek nevezzük . A lehetséges jellemzők száma vagy Ng -1, ahol Ng = csoportok száma, vagy p (prediktorok száma), amelyik kisebb. Az első létrehozott szolgáltatás maximalizálja a különbséget az adott funkcióhoz tartozó csoportok között. A második függvény maximalizálja a különbséget ehhez a függvényhez képest, de nem korrelálhat az előző függvénnyel. A folyamat a funkciók sorozatának létrehozásával folytatódik, azzal a feltétellel, hogy az új szolgáltatás ne korreláljon az összes korábbi funkcióval.

Adott egy csoport mintatérkészletekkel , létezik egy diszkriminatív szabály, amely szerint ha , akkor . A diszkriminancia analízis ezután megtalálja a halmazok "jó" területeit az osztályozási hiba minimalizálása érdekében, ami magas osztályozási százalékot eredményez [13] . $j$ ${\displaystyle \mathbb {R} _{j))$ ${\displaystyle x\in \mathbb {R} _{j))$ $x\in j$ ${\displaystyle \mathbb {R} _{j))$

Minden jellemzőt egy megkülönböztető pontszám követ, hogy meghatározza, mennyire jósolja meg a csoporttagságot.

Strukturális korrelációs együtthatók: Az egyes prediktorok és az egyes jellemzők megkülönböztető pontszáma közötti korreláció. Ez teljes összefüggés [14] .
Normalizált együtthatók: Az egyes prediktorok hozzájárulása az egyes jellemzőkhöz, tehát ez egy részleges korreláció . Megmutatja az egyes prediktorok relatív fontosságát a csoporttagsághoz való hozzájárulásként az egyes jellemzők esetében.
Jellemzők csoportcentroidokból: Az egyes jellemzők változóihoz tartozó diszkriminancia pontszámok átlaga. Minél távolabb vannak egymástól az átlagok, annál kisebb lesz az osztályozási hiba.

Megkülönböztető szabályok

Maximum likelihood módszer : x-et rendel a (csoport) népsűrűséget maximalizáló csoporthoz [15] .
Bayes diszkriminancia szabály: X-et a maximalizáló csoporthoz rendel , ahol az osztályozás előzetes valószínűségét és a népsűrűséget jelenti [15] . $\pi _{i}f_{i}(x)$ $\pi _{i}$ $f_{i}(x)$
Fisher lineáris diszkriminanciaszabálya: Maximalizálja az SS közötti és a belső SS közötti arányt , és megtalálja a prediktorok lineáris kombinációját a csoport előrejelzéséhez [15] .

Sajátértékek

A diszkriminanciaanalízisben a sajátérték az egyes függvények sajátértéke[ Mi a függvény sajátértéke? ] . Megmutatja, hogy a függvény hogyan választja el a csoportokat. Minél nagyobb a sajátérték, annál jobban osztoznak a függvények [7] . Itt azonban óvatosnak kell lenni, mivel a sajátértékeknek nincs felső határa [9] [7] . A sajátérték felfogható az SS közötti és a belső SS arányaként, mint az ANOVA-ban, amikor a függő változó a diszkrimináns függvény, a csoportok pedig IV . szintek [9] . Ez azt jelenti, hogy a legnagyobb sajátérték az első függvényhez, a második legnagyobb a másodikhoz és így tovább.

Hatás mérete

Egyesek azt javasolják, hogy sajátértékeket használjunk az effektus méretének mértékeként , de ez általában nem támogatott [9] . Ehelyett előnyösebb a kanonikus korrelációt használni a hatás mértékeként . Hasonló a sajátértékhez, de négyzetgyöke az SS és az SS total arányának . Ez egyenlő a csoportok és a függvény közötti korrelációval [9] .

A hatás méretének másik népszerű mérőszáma a százalékos variancia .[ tisztázni ] minden egyes funkcióhoz. Kiszámítható a következő képlettel: , ahol a függvény sajátértéke, és az összes sajátérték összege. Az érték megmondja, hogy egy adott függvény által adott előrejelzés mennyire pontos a többi függvényhez képest [9] . $(\lambda _{x}/\mathrm {\Sigma } \lambda _{i}'')\times 100$ $\lambda _{x}$ ${\displaystyle \mathrm {\Sigma} \lambda _{i))$

A helyes besorolás százalékos aránya hatásméretként elemezhető [9] .

Kanonikus diszkriminanciaanalízis k osztályra

A kanonikus diszkriminancia analízis ( CDA ) olyan tengelyeket talál ( k -1 kanonikus koordináták , ahol k az osztályok száma), amelyek a legjobban elválasztják a kategóriákat . Ezek a lineáris függvények nem korrelálnak egymással, és ennek eredményeként meghatározzák az optimális k − 1 dimenziós teret egy n - dimenziós adatfelhőn keresztül, amely a legjobban választja el a k csoportot. Lásd alább az „ LDA több osztállyal ” című részt.

Fisher-féle lineáris diszkrimináns

A Fisher-féle lineáris diszkrimináns és az LDA kifejezéseket gyakran felcserélhetően használják, bár Fisher eredeti írása [1] valójában egy kissé eltérő diszkriminánst ír le, amely nem teszi meg ugyanazokat a feltevéseket, mint az LDA, mint például a normál osztályeloszlás vagy az egyenlő osztály- kovariancia .

Tegyük fel, hogy a megfigyelések két osztályának átlaga és kovariancia van . Ekkor a tulajdonságok lineáris kombinációjának átlagai és eltérései lesznek . Fisher a két eloszlás közötti különbséget az osztályok közötti és az osztályokon belüli variancia arányaként határozta meg: ${\vec {\mu }}_{0},{\vec {\mu }}_{1}$ $\Sigma _{0},\Sigma _{1}$ ${\vec {w}}\cdot {\vec {x}}$ ${\vec {w}}\cdot {\vec {\mu }}_{i}$ ${\vec {w}}^{T}\Sigma _{i}{\vec {w}}$ $i=0,1$

S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{in belül}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{T}\Sigma _{1}{\vec {w}}+{\vec {w}}^{T}\Sigma _{0}{\vec {w}}}}={ \frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{T}(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}

Ez a mérték bizonyos értelemben a jel-zaj arány mértéke az osztálycímkézésnél. Kimutatható, hogy a maximális elválasztás mikor lesz

{\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec { \mu }}_{0})

Ha az LDA feltevések igazak, a fenti egyenlőség egyenértékű az LDA-val.

Figyeljük meg, hogy a vektor a diszkrimináns hipersík normálértéke . Például egy kétdimenziós feladatban a két csoportot legjobban elválasztó egyenes merőleges -ra . $\vec w$ $\vec w$

Általánosságban elmondható, hogy a megosztó adatpontok a következőre vannak vetítve . Ezután egyváltozós eloszlás alapján kiválasztásra kerül az adatokat legjobban elválasztó küszöbérték. Nincs általános szabály a küszöb kiválasztására. Ha azonban mindkét osztály pontjainak vetületei nagyjából azonos eloszlást mutatnak, akkor a két átlag vetületei közötti hipersík és , jó választás . Ebben az esetben a c paraméter a küszöbfeltételben kifejezetten megtalálható: $\vec w$ ${\vec {w}}\cdot {\vec {\mu }}_{0}$ ${\vec {w}}\cdot {\vec {\mu }}_{1}$ ${\vec {w}}\cdot {\vec {x}}>c$

c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1} )={\frac {1}{2}}{\vec {\mu }}_{1}^{T}\Sigma _{1}^{-1}{\vec {\mu }}_{1 }-{\frac {1}{2}}{\vec {\mu }}_{0}^{T}\Sigma _{0}^{-1}{\vec {\mu }}_{0 }

Az Otsu-módszer a Fisher-féle lineáris diszkriminánshoz kapcsolódik, és azért jött létre, hogy binarizálja a pixelek hisztogramját egy monokróm képen egy olyan fekete/fehér küszöb optimális kiválasztásával, amely minimalizálja az osztályon belüli eltéréseket és maximalizálja az osztályok közötti eltéréseket.

LDA több osztállyal

Abban az esetben, ha kettőnél több osztály van, a Fisher-diszkriminancia megszerzéséhez használt elemzés kiterjeszthető egy olyan alterre , amely tartalmazza az osztályok összes változatát [14] [16] . Ez az általánosítás K. R. Rao -nak köszönhető [17] . Tegyük fel, hogy a C osztályok mindegyikének átlaga és azonos kovariancia van . Ekkor az osztályvariancia szórást az osztályátlagok mintakovarianciaként definiálhatjuk ${\displaystyle \mu _{i))$ $\Sigma$

\Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i} -\mu )^{T}

ahol az osztályok átlagainak átlaga. Az irányban lévő osztályelválasztót ebben az esetben az érték adja meg $\mu$ ${\vec {w))$

S={\frac {{\vec {w}}^{T}\Sigma _{b}{\vec {w}}}({\vec {w}}^{T}\Sigma {\ vec{w}}}}

Ez azt jelenti, hogy amikor egy sajátvektor , az elágazáshoz tartozó érték egyenlő lesz a megfelelő sajátértékkel . ${\vec {w))$ ${\displaystyle \Sigma ^{-1}\Sigma _{b))$

Ha diagonalizálható, a jellemzők közötti eltérés abban az altérben lesz, amelyet a C - 1 legnagyobb sajátértékeknek megfelelő sajátvektorok fednek le (mivel a rang legfeljebb C - 1). Ezeket a sajátvektorokat főleg a jellemzők kiválasztásában használják, mint például a PCA-ban. A kisebb sajátértékeknek megfelelő sajátvektorok nagyon érzékenyek a betanítási adatok pontos megválasztására, ezért gyakran szükséges a következő részben leírt regularizáció alkalmazása. ${\displaystyle \Sigma ^{-1}\Sigma _{b))$ ${\displaystyle \Sigma _{b))$

Ha osztályozásra van szükség, számos alternatív megközelítés használható a dimenziócsökkentés helyett . Például az osztályok feloszthatók, és a szabványos Fisher vagy LDA diszkrimináns használható az egyes részek osztályozására. Gyakori példa erre a megközelítésre az „egy a többi ellen”, amikor az egyik osztály pontjai egy csoportba, minden más pedig egy másik csoportba illeszkedik, akkor LDA kerül alkalmazásra. Ez olyan C osztályozókat eredményez, amelyek eredményeit összevonják. Egy másik elterjedt módszer a páronkénti osztályozás, ahol minden osztálypárhoz új osztályozót hoznak létre (ami összesen C ( C − 1)/2 osztályozót ad), és az egyes osztályozókat kombinálják a végső osztályozáshoz.

Növekményes LDA algoritmus

Az LDA technika tipikus megvalósítása megköveteli, hogy minden minta egyszerre legyen elérhető. Vannak azonban olyan helyzetek, amikor a teljes adatkészlet nem érhető el, és a bemenet adatfolyamként érkezik. Ebben az esetben kívánatos, hogy a számított LDA-funkciókat úgy tudjuk frissíteni, hogy új mintákat nézünk anélkül, hogy a teljes algoritmust lefuttatnánk a teljes adatkészleten az LDA-funkciók kinyerése érdekében. Például számos valós idejű alkalmazásban, mint például a mobil robotika vagy az arcfelismerés, fontos a kivont LDA-funkciók frissítése, amint elérhetővé válik egy új megfigyelés. Az LDA jellemzők kinyerési technikáját, amely az LDA jellemzőit egyszerűen új minták feldolgozásával frissíti, inkrementális LDA algoritmusnak nevezik , és ezt az ötletet intenzíven tanulmányozták az elmúlt két évtizedben [18] . Catterjee és Roychaudhary egy növekményes önszerveződő LDA algoritmust javasolt az LDA jellemzőinek frissítésére [19] . Egy másik cikkben Demir és Ozmehmet online helyi tanulási algoritmusokat javasolt az LDA jellemzőinek fokozatos frissítésére hibajavítás és Hebb tanulási szabályai segítségével [20] . A közelmúltban Aliyari, Rujic és Moghaddam egy gyors inkrementális algoritmust fejlesztettek ki az LDA jellemzőinek frissítésére új minták megfigyelésével [18] .

Gyakorlati alkalmazás

A gyakorlatban az osztályátlagok és a kovariancia nem ismert. A képzési készletből azonban kiértékelhetők. Mindkét egyenlőségben a pontos érték helyett a maximum likelihood módszer vagy a posterior maximum becslési módszer használható . Bár a kovarianciabecslések bizonyos értelemben optimálisnak tekinthetők, ez nem jelenti azt, hogy az ezen értékek helyettesítésével kapott diszkrimináns bármilyen értelemben optimális lenne, még akkor sem, ha a normál osztályeloszlás feltételezése helyes.

Egy másik nehézség az LDA és Fisher-féle diszkrimináns módszer valós adatokra való alkalmazásában, amikor az egyes mintákban végzett mérések száma (vagyis az egyes adatvektorok dimenziója) eléri az egyes osztályok mintáinak számát [4] . Ebben az esetben a kovarianciabecslések nem teljes rangúak, és nem fordíthatók meg. Ennek több módja is van. Az egyik mód az, hogy a fenti képletekben a szokásos inverz helyett pszeudo-inverz mátrixot használunk. Azonban jobb numerikus stabilitás érhető el, ha a problémát a [21] által átfogott altérbe vetítjük . Egy másik stratégia a kis mintaméretek kezelésére a kovarianciamátrix kompressziós becslése , amely matematikailag úgy ábrázolható, mint ${\displaystyle \Sigma _{b))$

\Sigma =(1-\lambda )\Sigma +\lambda E\,

ahol az identitásmátrix és a tömörítési intenzitás vagy a regularizációs paraméter . Ez a rendszeres diszkriminanciaanalízis [22] vagy a kontrakciós diszkriminancia analízis [23] fogalmához vezet . $E$ $\lambda$

Szintén sok gyakorlati esetben a lineáris diszkriminátorok nem megfelelőek. Az LDA és a Fisher-féle diszkrimináns kiterjeszthető a nemlineáris osztályozáshoz egy kerneltrükk segítségével . Itt az eredeti megfigyeléseket hatékonyan egy magasabb dimenziós nemlineáris térre képezik le. A lineáris osztályozás ebben a nemlineáris térben egyenértékű az eredeti tér nemlineáris osztályozásával. Ennek a megközelítésnek a leggyakrabban használt példája a Fisher-féle nukleáris diszkrimináns .

Az LDA általánosítható multi-diszkriminancia analízisre , amelyben c kvalitatív változóvá válik , amelynek kettő helyett N lehetséges állapota van. Hasonlóképpen, ha az osztályok eloszlássűrűségei normálisak és azonos kovarianciával rendelkeznek, elegendő statisztikai adat az N vetület értékei , amelyek az inverz kovariancia mátrix által affinosan kivetített N átlag által átfogott altér . Ezeket a vetületeket az általánosított sajátérték probléma megoldásával találhatjuk meg , ahol a számláló az átlagok mintaként való kezelésével kialakított kovarianciamátrix, a nevező pedig a közös kovarianciamátrix. Lásd fent az „ LDA több osztállyal ” című részt. $p({\vec {x}}\mid c=i)$ $P(c\mid {\vec {x)))$

Alkalmazások

Az alábbi példákon kívül az LDA-nak vannak alkalmazásai a helymeghatározásban és a termékkezelésben .

Csőd-előrejelzés

A csőd számviteli ráták és egyéb pénzügyi változók alapján történő előrejelzésében a lineáris diszkriminanciaanalízis volt az első statisztikai módszer, amellyel szisztematikusan megmagyarázták, mely cégek fognak csődbe menni vagy túlélni. A korlátok ellenére, beleértve az LDA normál eloszlási feltételezésének jól ismert helytelenségét az elszámolási rátákra vonatkozóan , Edward Altman 1968-as modellje továbbra is a vezető modell a gyakorlati alkalmazásokban.

Arcfelismerés

Egy számítógépes arcfelismerő rendszerben minden arcot nagyszámú pixelérték képvisel. A lineáris diszkriminanciaanalízist itt elsősorban azért alkalmazzuk, hogy a jellemzők számát kezelhetőbbre csökkentsük, mielőtt az osztályozást megkísérelnénk. Az új dimenziók mindegyike pixelértékek lineáris kombinációja, amely egy mintát alkot. A Fisher-féle lineáris diszkrimináns segítségével kapott lineáris kombinációkat Fisher- lapoknak , míg a főkomponens-analízissel kapott kombinációkat sajátfelületeknek [24] nevezzük .

Marketing

A marketingben gyakran alkalmazzák a diszkriminanciaanalízist, hogy felmérések vagy más adatgyűjtési formák alapján meghatározzák azokat a tényezőket, amelyek megkülönböztetik a különböző típusú felhasználókat és/vagy termékeket. Manapság általában logisztikus regressziót vagy egyéb módszereket alkalmaznak erre a célra. A diszkriminanciaelemzés marketingben való alkalmazása a következő lépésekkel írható le:

Megfogalmazzuk a problémát és adatokat gyűjtünk. Meghatározzuk a fogyasztói tulajdonságok azon tulajdonságait , amelyeket a fogyasztók értékelnek ebben a kategóriában. Kvantitatív marketingkutatási technikát (például felmérést ) használunk, hogy adatokat gyűjtsünk a potenciális fogyasztók mintájából a termék összes tulajdonságának értékelésére vonatkozóan. Az adatgyűjtési szakaszt általában marketingkutatási szakemberek végzik. A társadalmi felmérés kérdései arra kérik a válaszadókat, hogy 1-től 5-ig (vagy 1-től 7-ig vagy 1-től 10-ig) skálán értékeljenek egy terméket a kutatók által kiválasztott mutatók alapján. Válasszon öt és húsz mutató közül. Tartalmazhatnak olyan tulajdonságokat, mint a könnyű használat, súly, pontosság, tartósság, színtartomány, ár vagy méret. A kiválasztott mutatók a vizsgált terméktől függően változnak. Ugyanezeket a kérdéseket teszik fel minden vizsgált termékkel kapcsolatban. A termékekre vonatkozó adatokat kódolják és olyan statisztikai programokba írják be, mint az R , SPSS vagy SAS . (Ez a lépés megegyezik a faktoranalízis lépésével).
Kiértékeljük a diszkriminancia függvény együtthatóit, meghatározzuk a statisztikai szignifikanciát és érvényességet. A diszkriminanciaanalízis megfelelő módszerét választjuk. A direkt módszer diszkrimináns függvényértékelést használ, így az összes prediktort egyidejűleg értékeli ki. A lépésenkénti módszer szekvenciálisan vezeti be a prediktorokat. A kétcsoportos módszert akkor kell használni, ha a függő változónak két kategóriája vagy állapota van. A többváltozós diszkriminancia módszert akkor használjuk, ha a függő változónak három vagy több kategorikus állapota van. A szignifikáns teszteléshez használhatja a Wilks lambda -t az SPSS-ben vagy az "F stat"-ot SAS-ban. Az érvényesség tesztelésének legáltalánosabb módszere a minta felosztása egy értékelő vagy elemző mintára és egy validációs vagy halasztott mintára. Az értékelési mintát a diszkrimináns függvény összeállítására használjuk. A tesztminta egy olyan osztályozási mátrix felépítésére szolgál, amely tartalmazza a helyesen és helytelenül osztályozott esetek számát. A helyesen besorolt esetek százalékos arányát találati aránynak nevezzük .
Az eredményt kétdimenziós grafikonon ábrázoljuk, meghatározzuk a méreteket és értelmezzük az eredményt. A statisztikai program segít az eredmények megjelenítésében. A grafikon minden terméket megjelenít (általában 2D térben). A termékek közötti távolság megmutatja, hogy mennyire különböznek egymástól. A méreteket a kutatónak kell megjelölnie. Ez szubjektív döntést igényel, és gyakran nagyon ellentmondásosak. Lásd: Perceptuális térkép készítése .

Orvosbiológiai kutatás

A diszkriminanciaanalízis fő alkalmazása az orvostudományban a beteg állapota súlyosságának és a betegség lefolyásának prognózisának felmérése. Például a retrospektív elemzés során a betegeket csoportokba osztják a betegség súlyossága szerint - enyhe, közepes és súlyos formák. Ezután megvizsgálják a klinikai és laboratóriumi elemzések eredményeit, hogy olyan változókat találjanak, amelyek kellően eltérőek a vizsgálati csoportokban. Ezen változók alapján olyan diszkrimináns függvények épülnek fel, amelyek segítségével objektíven lehet osztályozni a betegek betegségének lefolyását a jövőben, legyen az enyhe, közepes vagy súlyos.

A biológiában hasonló elveket alkalmaznak a különböző biológiai objektumok csoportjainak osztályozására és meghatározására, például a Salmonella enteritis fágtípusának meghatározására az infravörös spektrum Fourier-transzformációja alapján [25] , az Escherichia coli forrásának meghatározására virulenciafaktorainak tanulmányozása [26] stb.

Geosciences

Ezzel a módszerrel a hidrotermális változási zónák elkülöníthetők. Például, ha a különböző zónákban különböző adatok állnak rendelkezésre, a diszkriminanciaanalízis képes mintákat találni az adatokban, és hatékonyan osztályozni tudja azokat [27] .

Összehasonlítás logisztikus regresszióval

A diszkriminatív funkcionális elemzés nagyon hasonlít a logisztikus regresszióhoz , és mindkét módszer felhasználható a kutatók egyes kérdéseinek megválaszolására [9] . A logisztikus regressziónak nincs annyi feltevése, mint a diszkriminanciaanalízisnek. Ha azonban teljesülnek a diszkriminanciaanalízis feltételezései, az erősebb, mint a logisztikus regresszió [28] . A logisztikus regressziótól eltérően a diszkriminanciaanalízis kis mintaméretekhez használható. Kimutatták, hogy ha a minta mérete megegyezik és a variancia/kovariancia homogenitása fennáll, a diszkriminanciaanalízis pontosabb [7] . Mindezek ismeretében a logisztikus regressziót gyakrabban választják, mert a diszkriminanciaelemzési feltevések ritkán teljesülnek [8] [7] .

Lásd még

adatbányászat
Döntésfa tréning
Faktoranalízis
Fisher nukleáris diszkriminancia-elemzés
Logit ( logisztikus regresszióhoz )
Multi-diszkriminancia elemzés
Többdimenziós méretezés
Mintafelismerés
perceptron
Másodfokú osztályozó
Statisztikai osztályozás

Jegyzetek

↑ 12. Fisher , 1936 , p. 179–188.
↑ McLachlan, 2004 .
↑ Wetcher-Hendricks, 2011 , p. 288.
↑ 1 2 Martinez, Kak, 2001 , p. 228–233.
↑ Abdi, 2007 , p. 270–275.
↑ Perriere, Thioulouse, 2003 , p. 99–105.
↑ 1 2 3 4 5 6 7 8 9 10 ÇOKLUK, BÜYÜKÖZTÜRK, 2008 , p. 73-92.
↑ 1 2 Cohen, Cohen, West, Aiken, 2003 .
↑ 1 2 3 4 5 6 7 8 9 10 11 Green, Salkind, Akey, 2008 .
↑ Venables, Ripley, 2002 , p. 338.
↑ Lachenbruch, 1975 .
↑ Klecka, 1980 .
↑ Hardle, Simar, 2007 , p. 289–303.
↑ Garson 12. 2012 .
↑ 1 2 3 Hardle, Simar, 2007 , p. 289-303.
↑ Archivált másolat (downlink) . Letöltve: 2008. március 4. Az eredetiből archiválva : 2008. március 12.. (határozatlan) .
↑ Rao, 1948 , p. 159–203.
↑ 1 2 Ghassabeh, Rudzicz, Moghaddam, 2015 , p. 1999–2012
↑ Chatterjee, Roychowdhury, 1997 , p. 663–678.
↑ Demir, Ozmehmet, 2005 , p. 421–431.
↑ Yu, Yang, 2001 , p. 2067–2069.
↑ Friedman, 1989 , p. 165–17.
↑ Ahdesmäki, Strimmer, 2010 , p. 503–519.
↑ A sajátarcok kifejezés olyan sajátvektorokra és sajátértékekre vonatkozik, amelyeket a főkomponens módszerrel az arcfelismerésben használnak .
↑ Preisner, Guiomar, Machado, Menezes, Lopes, 2010 , p. 3538–3544.
↑ David, Lynne, Han, Foley, 2010 , p. 7509–7513.
↑ Tahmasebi, Hezarkani, Mortazavi, 2010 , p. 564–576.
↑ Hastie, Tibshirani, Friedman, 2009 , p. 128.

Irodalom

Hardle W., Simar L. Alkalmazott többváltozós statisztikai elemzés. - Berlin Heidelberg: Springer, 2007. - ISBN 3-540-03079-4 .
Lachenbruch PA Diszkriminanciaanalízis . — Macmillan Pub. Co., 1975. - ISBN 978-0-02-848250-7 .
William R. Klecka. diszkrimináns elemzés. - Thousand Oaks, CA: Sage Publications, 1980. - (Kvantitatív alkalmazások a társadalomtudományi sorozatban).
- Fordítás a J.-O. Kim, C.W. Muller, W.R. Klekka, M.S. Oldenderfer, R.K. Blashfield. Faktor-, diszkriminancia- és klaszteranalízis / Szerk. I.S. Enyukov. - M . : "Pénzügy és statisztika", 1989. - S. 78-137. — ISBN 5-279-00247-X .
Jacob Cohen, Patricia Cohen, Stephen G. West, Leona S. Aiken. Alkalmazott többszörös regressziós/korrelációs elemzés a viselkedéstudományok számára. - 3. kiadás - Mahwah, New Jersey, London: Lawrence Erlbaum Associates, Publishers, 2003. - ISBN 0-8058-2223.
Hardle W., Simar L. Alkalmazott többváltozós statisztikai elemzés. — 2. - Berlin Heidelberg: Springer, 2007. - ISBN 9783540722434 .
Abdi H. Diszkrimináns levelezés elemzés // Encyclopedia of Measurement and Statistic / NJ Salkind. – Thousand Oaks (CA): Sage, 2007.
Perriere G., Thioulouse J. A Correspondence Discriminant Analysis használata bakteriális fehérjék szubcelluláris elhelyezkedésének előrejelzésére // Computer Methods and Programs in Biomedicine. - 2003. - T. 70 . - doi : 10.1016/s0169-2607(02)00011-1 .
Fisher R. A. A többszörös mérések használata taxonómiai problémákban // Annals of Eugenics . - 1936. - T. 7 , sz. 2 . - doi : 10.1111/j.1469-1809.1936.tb02137.x .
McLachlan GJ diszkriminancia elemzés és statisztikai minta felismerés. - Wiley Interscience, 2004. - ISBN 0-471-69115-1 .
Debra Wetcher-Hendricks. Kvantitatív adatok elemzése: Bevezetés társadalomkutatóknak. - Hoboken, NJ: Wiley, 2011. - ISBN 978-0-470-52683-5 .
Garson GD Diszkriminancia függvény elemzés. - Asheboro, USA: Statistical Publishing Associates, 2012. - (Blue Book Series).
Tahmasebi P., Hezarkani A., Mortazavi M. Diszkriminanciaanalízis alkalmazása alterációs szétválasztáshoz; sungun rézlelőhely, Kelet-Azerbajdzsán, Irán. Ausztrál // Journal of Basic and Applied Sciences. - 2010. - T. 6 , sz. 4 .
Trevor Hastie, Robert Tibshirani, Jerome Friedman. A statisztikai tanulás elemei. Adatbányászat, következtetés és előrejelzés. — második. - Springer, 2009. - ISBN 0387848576 .
BÖKEOĞLU ÇOKLUK Ö, BÜYÜKÖZTÜRK Ş. Diszkrimináns függvényelemzés: Fogalom és alkalmazás // Eğitim araştırmaları dergisi. - 2008. - Kiadás. 33 .
Green SB, Salkind NJ, Akey TM SPSS használata Windowshoz és Macintoshhoz: Adatok elemzése és megértése. – New Jersey: Prentice Hall, 2008.
Martinez AM, Hogyan AC PCA versus LDA // IEEE Transactions on Pattern Analysis and Machine Intelligence . - 2001. - T. 23 , sz. 2 . – S. 228–233 . - doi : 10.1109/34.908974 .
Yu H., Yang J. Közvetlen LDA-algoritmus nagy dimenziós adatokhoz – arcfelismeréssel // Pattern Recognition. - 2001. - T. 34 , sz. 10 . - doi : 10.1016/s0031-3203(00)00162-x .
Friedman JH Regularizált diszkriminanciaelemzés // Az Amerikai Statisztikai Szövetség folyóirata . - Amerikai Statisztikai Szövetség, 1989. - V. 84 , 1. sz. 405 . - doi : 10.2307/2289860 . — .
Ahdesmäki M., Strimmer K. Jellemzők kiválasztása omics-előrejelzési problémákban macskapontszámok és téves nem-felfedezési arány szabályozásával // Annals of Applied Statistics. - 2010. - T. 4 , sz. 1 . – S. 503–519 . - doi : 10.1214/09-aoas277 . - arXiv : 0903.2003 .
Preisner O., Guiomar R., Machado J., Menezes JC, Lopes JA Fourier-transzformációs infravörös spektroszkópia és kemometria alkalmazása Salmonella enterica serovar Enteritidis fágtípusok differenciálására // Appl Environ Microbiol. - 2010. - T. 76 , sz. 11 . - doi : 10.1128/aem.01589-09 .
David DE, Lynne AM, Han J., Foley SL . A virulenciafaktor profilalkotás értékelése az állatgyógyászati Escherichia coli izolátumok jellemzésében // Appl Environ Microbiol. - 2010. - T. 76 , sz. 22 . - doi : 10.1128/aem.00726-10 .
Youness Aliyari Ghassabeh, Frank Rudzicz, Hamid Abrishami Moghaddam. Gyors növekményes LDA-funkciók kivonása // Mintafelismerés. - 2015. - június ( 48. évf. , 6. szám ). - doi : 10.1016/j.patcog.2014.12.012 .
Chatterjee C., Roychowdhury VP Önszerveződő algoritmusokról és hálózatokról osztály-elválaszthatósági szolgáltatásokhoz // IEEE Transactions on Neural Networks. - 1997. - május ( 8. köt. 3. szám ). — ISSN 1045-9227 . - doi : 10.1109/72.572105 .
Demir GK, Ozmehmet K. Online lokális tanulási algoritmusok lineáris diszkriminanciaelemzéshez // Pattern Recogn. Lett.. - 2005. - március ( 26. évf. , 4. szám ). — ISSN 0167-8655 . - doi : 10.1016/j.patrec.2004.08.005 .
Rao R.C. A többszörös mérések felhasználása a biológiai osztályozás problémáiban // Journal of the Royal Statistical Society, Series B. - 1948. - V. 10 , no. 2 . — .
Venables WN, Ripley BD Modern Applied Statistics with S. - 4. - Springer Verlag, 2002. - ISBN 0-387-95457-0 .

Olvasás további olvasáshoz

Duda RO, Hart PE, Stork DH Mintaosztályozás. — 2. - Wiley Interscience, 2000. - ISBN 0-471-05669-3 .
Hilbe JM logisztikai regressziós modellek. - Chapman & Hall/CRC Press, 2009. - ISBN 978-1-4200-7575-5 .
Mika S. Fisher diszkriminanciaanalízis kernelekkel // IEEE Conference on Neural Networks for Signal Processing IX. - 1999. - S. 41-48 . - doi : 10.1109/NNSP.1999.788121 .
H. Richard McFarland, St. P. Richards Donald. Pontos téves besorolási valószínűségek a beépülő normál másodfokú diszkriminancia függvényekhez. I. Az Equal-Means Case // Journal of Multivariate Analysis. - 2001. - T. 77 , sz. 1 . – S. 21–53 . - doi : 10.1006/jmva.2000.1924 .
H. Richard McFarland, St. P. Richards Donald. Pontos téves besorolási valószínűségek a beépülő normál másodfokú diszkriminancia függvényekhez. II. A heterogén eset // Journal of Multivariate Analysis. - 2002. - T. 82 , sz. 2 . – S. 299–330 . - doi : 10.1006/jmva.2001.2034 .

Linkek

Haghighat M., Abdel-Mottaleb M., Alhalabi W. Diszkrimináns korrelációs elemzés: valós idejű jellemzőszintű fúzió a multimodális biometrikus felismeréshez // IEEE Transactions on Information Forensics and Security. - 2016. - T. 11 , sz. 9 . — S. 1984–1996 . - doi : 10.1109/TIFS.2016.2569061 .
Az ALGLIB nyílt forráskódú LDA implementációt tartalmaz C# / C++ / Pascal / VBA nyelven.
Psychometrica.de (nem elérhető hivatkozás) nyílt forráskódú LDA implementáció Java nyelven
LDA oktatóanyag MS Excel használatával
orvosbiológiai statisztikák. Diszkriminancia elemzés
StatQuest: Lineáris diszkriminanciaelemzés (LDA) egyértelműen elmagyarázva a YouTube -on
Tanfolyami jegyzetek, Diszkriminanciafüggvény-elemzés, G. David Garson, NC State University
Kardi Teknomo diszkriminanciaelemzési oktatóanyaga Microsoft Excelben
Tanfolyami jegyzetek, Diszkriminanciafüggvény-elemzés, David W. Stockburger, Missouri Állami Egyetem Archiválva : 2016. március 3. a Wayback Machine -nél
Diszkrimináns függvényelemzés (DA), John Poulsen és Aaron French, San Francisco State University

Gépi tanulás és adatbányászat
Feladatok	Osztályozási probléma Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellek együttesei Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-közép módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-Net Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG