Korrekció több hipotézis teszteléséhez

Többszörös összehasonlítás, többszörösség, többszörös tesztelés problémakorrekciója [ 1] egy módja annak , hogy kiküszöböljük a többszörös összehasonlítás hatását [2] , amely akkor jelentkezik, ha statisztikai következtetések családját kell felépíteni. A statisztikai hipotézisek tesztelése során a főhipotézis (H 0 ) elvetésekor hiba is előfordulhat (a hipotézis téves elutasítása, első típusú hiba ). Egy ilyen esemény valószínűségét egy kis előre kiválasztott érték korlátozza - a szignifikancia szint (általában ). Ekkor a következtetések megalkotásakor annak a valószínűségnek a felső becslése, hogy legalább az egyik hibás lesz, egyenlő -val , ami még kicsikre is kellően nagy (pl. esetén egyenlő -vel ). Ennek a hatásnak a kiküszöbölésére számos megközelítést fejlesztettek ki [3] . $\alpha$ $\alpha =0{,}05$ $m$ $1-(1-\alpha )^{m}$ $m$ $m=5$ $\alpha =0{,}05$ $\approx 22{,}6\%$

Történelem

A többszörös összehasonlítás problémájának első említésének tekinthetjük Antoine Augustine Cournot okfejtését az Exposition de La Theorie Des Chances Et Des Probabilites (1843) című művében, miszerint ha egy populációt minél több csoportra osztunk, előbb-utóbb létrejön egy csoport, amely jelentősen eltér a többitől.aggregátumok. Ekkor a problémát megoldhatatlannak tekintették [4] .

Bonferroni munkája (Teoria statistica delle classi e calcolo delle probabilità, 1936) után az 1950-es években John Tukey és Henry Scheffe munkássága kapcsán feltámadt a többszörös tesztelés problémája iránti érdeklődés . A későbbi munka a korrekciók erejének növelésére irányult. Így 1979-ben egy erősebb Holm-Bonferroni korrekciót fejlesztettek ki. 1995-ben Benjamini és Hochberg cikkével megkezdődött a munka az FDR-en (false rejection rate of hypotheses), amely lehetővé tette számos hipotézis tesztelését [4] .

1996-ban Izraelben tartották az első konferenciát a többszörös hipotézis teszteléséről , majd ezt követően kétévente tartják világszerte [5] .

Jelölés

	A nullhipotézis igaz	A nullhipotézis hamis	Teljes
Elfogadjuk a hipotézist	$U$	$T$	$W$
Elutasítjuk a hipotézist	$V$	$S$	$R$
Teljes	$m_{0}$	$m-m_{0}$	$m$

$m$ a hipotézisek teljes száma
$m_{0}$ — helyes hipotézisek száma, ismeretlen paraméter
$m-m_{0}$ — hamis hipotézisek száma
$V$ - a hamis pozitívok száma hamis pozitív (az első típusú hibák)
$S$ - a valódi pozitívumok száma ( igazi pozitívak )
$T$ - a hamis negatívok száma hamis negatívok (második típusú hibák)
$U$ - a valódi negatívok száma ( igazi negatívok )
$R$ az elutasított nullhipotézisek száma. és megfigyelhető mennyiségek, míg , , és nem megfigyelhetőek. $R$ $W$ $S$ $T$ $U$ $V$

Módszerek a többszörös összehasonlítás problémájának megoldására

Túl sok próbálkozás esetén megnő annak a valószínűsége, hogy hamis pozitív eredményt kapunk ( az első típusú elkövetett hibák számának növekedése ). A probléma az, hogy olyan módszert válasszunk, amely lehetővé teszi a hipotézisek téves elutasítását és hamis elfogadását . Ehhez egy másik szabályt kell választani a hipotézisek elutasítására. A többszörös hipotézis tesztelésének problémájához nagyszámú mennyiség létezik, amely általánosítja az első típusú hiba definícióját. A leghíresebbek a következők: $V$ $V$ $T$

FWER – családi hibaarány , első típusú csoportos hibaarány: [6] ; ${\text{FWER}}=P(V\geq 1)$
FDP — hamis felfedezések aránya, téves hipotézisek elutasításának aránya (az összes elutasítás között): [7] ; ${\text{FDP}}={\begin{cases}{\frac {V}{R)),R>0\\0,R=0\end{cases}}$
FDR — false discovery rate , a hamis hipotézisek elutasításának átlagos aránya (az összes elutasítás között): [7] . ${\text{FDR}}=E[{\text{FDP}}]$

A fenti intézkedések mindegyikének megvan a maga módja a szignifikanciaküszöb szigorításának.

Az I. típusú hiba csoportos valószínűsége

A statisztikai hipotézisek tesztelésekor figyelembe vett, első típusú hibát általánosító mérőszámok egyike. Az érték legalább egy I. típusú hiba elkövetésének valószínűsége [6] . Definíció szerint: [6] . Az FWER rögzített szignifikanciaszintű szabályozása azt jelenti, hogy a [6] egyenlőtlenség teljesül . ${\text{FWER}}=P(V\geq 1)$ $\alpha$ ${\text{FWER}}\leq \alpha$

Számos módszer létezik az FWER vezérlésére.

Bonferroni módosítás

A Bonferroni korrekciós módszer kimondja, hogy a hamis pozitív eredmények csökkentése érdekében el kell vetni azokat a hipotéziseket, amelyeknél a [8] [9] kritérium szerint p-érték van . Ez a módosítás lehetővé teszi, hogy megszerezzék , mert $p_{i}<\alpha /m$ ${\text{FWER}}\leq \alpha$

A Boole - egyenlőtlenség azt jelenti, hogy az események véges vagy megszámlálható halmaza esetén annak a valószínűsége, hogy legalább az egyik bekövetkezik, nem nagyobb, mint az egyes események valószínűségeinek összege. Így ha minden egyes tesztet a szignifikancia szinten tesztelünk , ahol a figyelembe vett hipotézisek száma, akkor a hipotézisek teljes családjára a szignifikancia szint a következő szinten van rögzítve : ${\frac {\alpha }{m))$ $m$ $\alpha$

${\text{FWER}}=P(V\geq 1)=P\left\{\bigcup _{i=1}^{m}\left(p_{i}\leq {\frac {\ alfa }{m}}\right)\right\}\leq \sum _{i=1}^{m}P\left(p_{i}\leq {\frac {\alpha }{m}}\right )\leq m{\frac {\alpha }{m}}=\alpha$ ,

ahol az elutasított igaz hipotézisek száma [10] . $V$

Jegyzetek

A Bonferroni-korrekció alkalmazása miatti növekedéssel a statisztikai eljárás ereje meredeken csökken - csökken a hibás hipotézisek elutasításának esélye [7] . $m$

Holm-módszer (Holm-Bonferroni korrekció)

A Holm-féle módszer ( Holm-Bonferroni korrekció ) egységesen erősebb, mint a Bonferroni-korrekció, és megoldja a teljesítménycsökkenés problémáját a hipotézisek számának növekedésével [11] . Felülről lefelé módszer [12] .

Legyen - , a legkisebbtől a legnagyobbig rendezve. - releváns hipotézisek. Holm eljárását a következőképpen definiáljuk [12] [13] . ${\displaystyle p_{(1)}\leq \,...\,\leq p_{(m)))$ $p_{i}$ ${\displaystyle H_{(1)},...,H_{(m)))$ ${\displaystyle p_{(i)))$

1. lépés. Ha , fogadja el a hipotéziseket , és álljon meg. Ellenkező esetben, ha , utasítsa el a hipotézist , és folytassa a fennmaradó hipotézisek tesztelését a szignifikancia szinten . $p_{(1)}\geq {\frac {\alpha }{m-1+1))$ ${\displaystyle H_{(1)},...,H_{(m)))$ $p_{(1)}<{\frac {\alpha }{m-1+1))$ $H_{(1)}$ ${\frac {\alpha }{m-2+1))$
2. lépés Ha , fogadja el a hipotéziseket , és álljon meg. Ellenkező esetben, ha , utasítsa el a hipotézist , és folytassa a fennmaradó hipotézisek tesztelését a szignifikancia szinten . $p_{(2)}\geq {\frac {\alpha }{m-2+1))$ ${\displaystyle H_{(2)},...,H_{(m)))$ $p_{(2)}<{\frac {\alpha }{m-2+1))$ $H_{(2)}$ ${\frac {\alpha }{m-3+1))$
Stb.

Az eljárás előírja [12] . Egységesen erősebb, mint a Bonferroni-módszer [11] . ${\text{FWER}}\leq \alpha$

Példa

Fontolja meg 4 hipotézis tesztelését . Legyen ezek p-értékei: 0,01; 0,04; 0,03 és 0,005. Rendezzük őket növekvő sorrendbe: 1) 0,005; 2) 0,01; 3) 0,03; 4) 0,04. A következő egyenlőtlenségeket kell ellenőrizni: $\alpha =0{,}05$

$0{,}005<{\frac {0{,}05}{4}}$ → utasítsa el ezt a nullhipotézist, lépjen tovább.
$0{,}01<{\frac {0{,}05}{4-1))$ → utasítsa el ezt a nullhipotézist, lépjen tovább.
$0{,}03\geq {\frac {0{,}05}{4-2))$ → fogadja el ezt és a következő nullhipotézist, álljon meg.

A Shidak-módszer

A hipotézisek szignifikanciaszintjét a következőképpen állítjuk be: . [14] A módszer FWER -t eredményez , feltéve, hogy a statisztikusok függetlenek, vagy a „pozitív függőségi” tulajdonság [15] [16] teljesül : $m$ ${\displaystyle \alpha _{m}=1-(1-\alpha )^{1/m))$ $\leq \alpha$ $T_{i}$

$\mathrm {P} (T_{1}\leq t_{1},...,T_{m}\leq t_{m})\geq \prod _{i=1}^{m}\ matematika {P} (T_{i}\leq t_{i})$ , [16] $\forall t$

Állítsunk össze p-értékek variációs sorozatát: , ahol a megfelelő hipotézisek vannak. Az eljárás így néz ki: ${\displaystyle p_{(1)}\leq \,...\,\leq p_{(m)))$ ${\displaystyle H_{(1)},...,H_{(m)))$

Ha , akkor minden hipotézist elfogadunk és megállunk, ellenkező esetben elutasítjuk és folytatjuk; ${\displaystyle p_{(1)}\geq \alpha _{1))$ ${\displaystyle H_{(1)},...,H_{(m)))$ $H_{(1)}$
Ha , akkor minden hipotézist elfogadunk és megállunk, ellenkező esetben elutasítjuk és folytatjuk; ${\displaystyle p_{(2)}\geq \alpha _{2))$ ${\displaystyle H_{(2)},...,H_{(m)))$ $H_{(2)}$
… stb.

Shidak-Holm módszer

leszálló eljárás. A hipotézisek szignifikanciaszintjei a következők [17] : $m$ $\alpha _{1}=1-(1-\alpha )^{1/m},\dots ,\alpha _{i}=1-(1-\alpha )^{\frac {1} {m-i+1}},\pontok ,\alpha _{m}=\alpha$

Szignifikancia szinten szabályozza az FWER-t, ha a statisztikák függetlenek a sokaságban. Ha a statisztika független a sokaságban, lehetetlen olyan eljárást felépíteni, amely a Shidak-Holm módszernél erősebb szinten szabályozza az FWER-t. Összességében kevéssé különbözik Holm módszerétől [17] . $\alpha$ $\alpha$ $m$

Átlagos téves elutasítási arány

Ez az érték az elutasított hipotézisek közötti hibák arányának matematikai elvárása.

Határozza meg a hibásan elutasított hipotézisek számának arányát az összes elutasított hipotézishez képest : . Tehát FDR: $K$ $V$ $R$ $Q=V/R$

${\text{FDR}}=Q_{\textrm {e}}=E[Q]=E\left[{\frac {V}{V+S}}\right]=E\left[{ \frac {V}{R}}\right]$ at [7] . $R>0$

Az FDR szintszabályozása a következőket jelenti: $\alpha$

${\text{FDR}}=E\left({\frac {V}{R}}\right)\leq \alpha$ [7] .

Benjamini-Hochberg módszer

Ez egy alulról felfelé építkező eljárás, amelynek jelentősége a következő [7] :

$\alpha _{1}={\frac {\alpha }{m)),\ ...,\ \alpha _{i}={\frac {i\alpha }{m)),\ . ..,\ \alpha _{m}=\alpha$ .

Legyenek a szignifikanciaszintek , a legkisebbtől a legnagyobbig rendezve. - releváns hipotézisek. A Benjamini-Hochberg eljárást a következőképpen határozzuk meg. ${\displaystyle p_{(1)}\leq \,...\,\leq p_{(m)))$ $p_{i}$ ${\displaystyle H_{(1)},...,H_{(m)))$ ${\displaystyle p_{(i)))$

1. lépés. Ha , fogadja el a hipotéziseket , és álljon meg. Ellenkező esetben, ha , utasítsa el a hipotézist , és folytassa a fennmaradó hipotézisek tesztelését a szignifikancia szinten . $p_{(1)}\geq {\frac {\alpha }{m))$ ${\displaystyle H_{(1)},...,H_{(m)))$ $p_{(1)}<{\frac {\alpha }{m))$ $H_{(1)}$ ${\frac {2\alpha }{m))$
2. lépés Ha , fogadja el a hipotéziseket , és álljon meg. Ellenkező esetben, ha , utasítsa el a hipotézist , és folytassa a fennmaradó hipotézisek tesztelését a szignifikancia szinten . $p_{(2)}\geq {\frac {2\alpha }{m))$ ${\displaystyle H_{(2)},...,H_{(m)))$ $p_{(2)}<{\frac {2\alpha }{m))$ $H_{(2)}$ ${\frac {3\alpha }{m))$
Stb.

Ha a statisztikák függetlenek, ez a módszer [7] szinten szabályozza az FDR-t . $T_{i}$ $\alpha$

Masszív többszörös tesztelés

Számos tanulmányban, például a genomika területén , több ezer vagy még sokkal több hipotézist kell tesztelni. A genetikai asszociációs vizsgálatok területén az eredmények reprodukálhatatlanságának problémája van: az egyik vizsgálatban kiemelten szignifikáns eredmény a következőben nem ismétlődik meg. Ennek oka többek között a többszöri tesztelés következményei [18] .

A tudomány különböző területein a többszörös teszteléshez való hozzáállás nem egyértelmű. Van olyan vélemény, hogy nem szükséges korrekciót használni többszörös összehasonlításhoz, ha alapos okkal feltételezhető, hogy az eredmények igazak lesznek [19] . Azt is állítják, hogy a többszörös teszteléshez való igazítás nem hatékony módszer az empirikus kutatás elvégzésére , mivel a hamis pozitívumok ellenőrzésével nagyszámú hamis negatív eredményhez vezet. Másrészről azonban azt állítják, hogy a mérési módszerek és az információs technológia fejlődése elősegítette a feltáró elemzéshez szükséges nagy adatkészletek megjelenését , ami számos hipotézis teszteléséhez vezetett anélkül, hogy először feltételeztük volna, hogy a legtöbb igaz. Ez pedig nagyszámú hamis pozitív eredményt jelent, ha nem hajtják végre a többszörös vizsgálat korrekcióját.

Nagy léptékű tesztelésnél, ha pontos eredményeket akarunk elérni, az FWER a legjobb, azonban ha a vizsgálat feltáró jellegű, és jelentős eredményeket egy független vizsgálatban tesztelnek, az FDR-t részesítjük előnyben [7] [20] [21] . Az FDR, amelyet a hamis pozitívak várható arányaként határoznak meg az összes pozitív (szignifikáns) között, lehetővé teszi a további vizsgálatok során figyelembe vehető „pozitív jelöltek” halmazának meghatározását [22] .

Azt a gyakorlatot, hogy sok kiigazítatlan összehasonlítást végeznek annak reményében, hogy valami értelmeset találnak, akár tudatosan alkalmazzák, akár nem, néha "p-hacking"-nek nevezik [23] [24] .

Alkalmazások a bioinformatikában

A többszörös összehasonlítás problémája a biológiában mindenütt jelen van az omics adatok [20] [25] [26] elemzésében, mivel sok változót egyidejűleg elemeznek. Így a genomszintű asszociációs vizsgálatok és a differenciális génexpresszió - analízis során több százezer-millió hipotézist tesztelnek egyszerre. A legtöbb esetben a Bonferroni-korrekciót vagy a GWAS általánosan elfogadott p-érték küszöbét [27] alkalmazzák, azonban ez a vizsgálat teljesítményének csökkenését eredményezi, és ezzel együtt megnő a hamis negatív eredmények kockázata. A Bonferroni-korrekciónak az elvégzett összehasonlítások függetlenségére vonatkozó feltevése is sérül, mivel kapcsolati egyensúlyhiány áll fenn , amikor az SNP -kombinációk gyakorisága eltér a kapcsolat hiányában várttól, így felmerül a kérdés, hogy hány valós független. összehasonlításokat végeznek. Meghatározható a független összehasonlítások száma olyan feltételek mellett, mint a főkomponensek száma, amelyek együttesen többet takarnak, mint a vizsgált adatok szórása, majd a szinten statisztikai szignifikanciát biztosító p-küszöbértéket újra számítjuk: következik: $5\cdot 10^{-8}$ $99,5\%$ $\alpha$

${\displaystyle \alpha _{GWAS}={\frac {\alpha }{n_{komponensek))))$ [28] [29]

Ezenkívül permutációs teszteket [28] [30] , például Rank product használnak a többszörös összehasonlítás problémájának megoldására . A permutációs tesztek feltételezése, hogy ha az összehasonlított minták ugyanabból a sokaságból származnak, akkor a minták közötti elemcsere nem vezethet jelentős változáshoz a tesztstatisztikában. A permutációs tesztek hozzávetőleges általános algoritmusa a következő [30] :

A kísérleti adatok mintáira vonatkozó tesztstatisztika értékét kiszámítjuk
A mintákat egyetlen poolba egyesítik
Az adatkészletből véletlenszerűen azonos méretű mintákat képeznek
A tesztstatisztika értéke az új mintakészletre kiszámításra kerül
A 2-4. pontok ismételt megismétlésével létrejön a tesztstatisztika eloszlása
A konstruált eloszlás és a tesztstatisztika kísérleti értéke alapján meghatározzuk a p-értéket

A permutációs tesztek alkalmazásakor a szignifikanciaszint vagy a teszt p-értékeinek tényleges korrekciója nem szükséges. A permutációs tesztek nem érzékenyek a minta kiegyensúlyozatlanságára, ami hasznos a biológiai adatok elemzésében [31] .

Lásd még

Az első és a második típusú hibák

Jegyzetek

↑ Eljárások többszörös hipotézisvizsgálatokhoz . Letöltve: 2019. május 1. Az eredetiből archiválva : 2018. március 1.. (határozatlan)
↑ A statisztikai hipotézisek többszörös tesztelésének problémájáról . Letöltve: 2019. május 1. Az eredetiből archiválva : 2018. március 17. (határozatlan)
↑ Többszörös tesztelés . Letöltve: 2019. május 1. Az eredetiből archiválva : 2019. május 1. (határozatlan)
↑ 1 2 Orvosi biostatisztika komplex betegségekre . - Weinheim: Wiley-VCH, 2010. - 1 online forrás (400 oldal) p. ISBN 9783527630332_ _
↑ MCP Conference 2019 (angol) . MCP Conference 2019. Letöltve: 2019. április 12. Az eredetiből archiválva : 2019. április 12.
↑ 1 2 3 4 Hochberg Y. Tamhane, AC Több összehasonlítási eljárás. New York: Wiley. p. 5. ISBN 978-0-471-82222-6 , 1987.
↑ 1 2 3 4 5 6 7 8 Yoav Benjamini, Yosef Hochberg. A hamis felfedezési arány szabályozása: gyakorlati és hatékony megközelítés a többszörös teszteléshez // A Royal Statistical Society folyóirata: B sorozat (Módszertani). — 1995-01. - T. 57 , sz. 1 . - S. 289-300 . — ISSN 0035-9246 . - doi : 10.1111/j.2517-6161.1995.tb02031.x .
↑ P. MIRONE. UN METODO APPROSSIMATO PER IL CALCOLO DELLE FREQUENZE DI VIBRAZIONE DI MOLECOLE CONTENENTI GRUPPI METILICI // Advances in Molecular Spectroscopy. - Elsevier, 1962. - S. 293-296 . — ISBN 9781483213323 .
↑ Teoria Statistica Delle Classi és Calcolo Delle Probabilità // Encyclopedia of Research Design. - 2455 Teller Road, Thousand Oaks California 91320 Egyesült Államok: SAGE Publications, Inc. - ISBN 9781412961271 , 9781412961288 .
↑ Yosef Hochberg. Élesebb Bonferroni-eljárás több szignifikáns teszthez // Biometrika. – 1988-12. - T. 75 , sz. 4 . - S. 800 . — ISSN 0006-3444 . - doi : 10.2307/2336325 .
↑ 1 2 Mikel Aickin és Helen Gensler. Korrekció a többszörös teszteléshez a kutatási eredmények jelentésekor: A Bonferroni vs Holm módszerek // American Journal of Public Health, Vol.86, No.5. - 1996. - május.
↑ 1 2 3 Sture Holm. Egy egyszerű szekvenciálisan elutasító többszörös vizsgálati eljárás // Scandinavian Journal of Statistics, Vol. 6, sz. 2 (1979), pp. 65-70.
↑ Javítás: Továbbfejlesztett szekvenciálisan elutasító Bonferroni-teszteljárás // Biometrikus adatok. — 1987-09. - T. 43 , sz. 3 . - S. 737 . — ISSN 0006-341X . - doi : 10.2307/2532027 .
↑ Zbyněk Šidak. Téglalap alakú megbízhatósági régiók a többváltozós normáleloszlás eszközeihez // Journal of the American Statistical Association. — 1967-6. — Vol. 62 , iss. 318 . - P. 626-633 . — ISSN 1537-274X 0162-1459, 1537-274X . doi : 10.1080/ 01621459.1967.10482935 . Az eredetiből archiválva : 2020. január 30.
↑ JP Shaffer. Több hipotézis tesztelése (angol) // Annual Review of Psychology. — 1995-1. — Vol. 46 , iss. 1 . - P. 561-584 . — ISSN 1545-2085 0066-4308, 1545-2085 . - doi : 10.1146/annurev.ps.46.020195.003021 . Archiválva az eredetiből 2019. április 16-án.
↑ 1 2 Burt S. Holland, Margaret D. Copenhaver. Továbbfejlesztett Bonferroni-típusú többszörös tesztelési eljárások // Pszichológiai közlemény. - 1988. - T. 104 , sz. 1 . - S. 145-149 . — ISSN 0033-2909 . - doi : 10.1037//0033-2909.104.1.145 .
↑ 1 2 Adatok statisztikai elemzése (előadások kurzusa, K.V. Voroncov) . www.machinelearning.ru Letöltve: 2019. április 18. Az eredetiből archiválva : 2019. május 10. (határozatlan)
↑ Hui-Qi Qu, Matthew Tien, Constantin Polychronakos. Statisztikai jelentősége a genetikai asszociációs vizsgálatokban // Clinical & Investigative Medicine. — 2010-10-01. - T. 33 , sz. 5 . - S. 266 . — ISSN 1488-2353 . - doi : 10.25011/cim.v33i5.14351 .
↑ Rothman, Kenneth J. Nincs szükség kiigazításokra a többszörös összehasonlításhoz (határozatlan idejű) // Epidemiológia. - 1990. - T. 1 , 1. sz . - S. 43-46 . - doi : 10.1097/00001648-199001000-00010 . — PMID 2081237 . — .
↑ 1 2 J. D. Storey, R. Tibshirani. Statisztikai jelentősége az egész genomra kiterjedő vizsgálatokhoz (angol) // Proceedings of the National Academy of Sciences . - Nemzeti Tudományos Akadémia , 2003. 07. 25. — Vol. 100 , iss. 16 . - P. 9440-9445 . - ISSN 1091-6490 0027-8424, 1091-6490 . - doi : 10.1073/pnas.1530509100 . Az eredetiből archiválva : 2008. július 19.
↑ Efron, Bradley; Tibshirani, Robert; Storey, John D.; Tusher, Virginia. Empirikus Bayes-elemzés egy microarray-kísérletről // Journal of the American Statistical Association : folyóirat. - 2001. - Vol. 96 , sz. 456 . - P. 1151-1160 . - doi : 10.1198/016214501753382129 . — .
↑ William S Noble. Hogyan működik a többszörös tesztelés korrekciója? (angol) // Természet Biotechnológia . - Nature Publishing Group , 2009-12. — Vol. 27 , iss. 12 . - P. 1135-1137 . - ISSN 1546-1696 1087-0156, 1546-1696 . - doi : 10.1038/nbt1209-1135 . Archiválva az eredetiből 2019. április 12-én.
↑ Young, SS, Karr, A. Deming, adat- és megfigyelési tanulmányok (neopr.) // Jelentőség. - 2011. - T. 8 , 3. sz . - S. 116-120 . - doi : 10.1111/j.1740-9713.2011.00506.x .
↑ Smith, GD, Shah, E. Data dredging, bias, or confounding // BMJ : Journal. - 2002. - 20. évf. 325. sz . 7378 . - P. 1437-1438 . - doi : 10.1136/bmj.325.7378.1437 . — PMID 12493654 .
↑ Anjana Grandhi, Wenge Guo, Shyamal D. Peddada. Többszörös tesztelési eljárás többdimenziós páronkénti összehasonlításhoz a génexpressziós vizsgálatok alkalmazásával // BMC Bioinformatics. — 2016-02-25. - T. 17 . — ISSN 1471-2105 . - doi : 10.1186/s12859-016-0937-5 .
↑ ScienceDirect . www.sciencedirect.com. Hozzáférés időpontja: 2019. április 13. (határozatlan)
↑ Gregory S. Barsh, Gregory P. Copenhaver, Greg Gibson, Scott M. Williams. Útmutató az egész genomra kiterjedő asszociációs tanulmányokhoz // PLoS Genetics. — 2012-07-05. - T. 8 , sz. 7 . — ISSN 1553-7390 . - doi : 10.1371/journal.pgen.1002812 . Archiválva az eredetiből 2021. január 7-én.
↑ 1 2 Randall C Johnson, George W Nelson, Jennifer L Troyer, James A Lautenberger, Bailey D Kessing. Többszörös összehasonlítás számítása egy genomszintű asszociációs vizsgálatban (GWAS) // BMC Genomics. — 2010-12-22. - T. 11 . - S. 724 . — ISSN 1471-2164 . - doi : 10.1186/1471-2164-11-724 .
↑ Xiaoyi Gao, Joshua Starmer, Eden R. Martin. Többszörös tesztelési korrekciós módszer genetikai asszociációs vizsgálatokhoz korrelált egyetlen nukleotid polimorfizmusok felhasználásával // Genetic Epidemiology. — 2008-5. - T. 32 , sz. 4 . - S. 361-369 . — ISSN 0741-0395 . - doi : 10.1002/gepi.20310 . Archiválva az eredetiből: 2019. április 13.
↑ 1 2 Ronglin Che, John R Jack, Alison A Motsinger-Reif, Chad C Brown. Adaptív permutációs megközelítés az egész genomra kiterjedő asszociációs vizsgálathoz: értékelés és felhasználási javaslatok // BioData Mining. — 2014-06-14. - T. 7 . - S. 9 . — ISSN 1756-0381 . - doi : 10.1186/1756-0381-7-9 .
↑ Benjamin T. Files, Vernon J. Lawhern, Anthony J. Ries, Amar R. Marathe. Permutációs teszt a globális térerő kiegyensúlyozatlan párosított összehasonlításához // Agy topográfiája. - 2016. - T. 29 . - S. 345-357 . — ISSN 0896-0267 . - doi : 10.1007/s10548-016-0477-3 .

Irodalom

E. L. Lehmann, J. P. Romano. 9. fejezet: Többszörös tesztelés és szimultán következtetés // Statisztikai hipotézisek tesztelése : [ eng. ] . — 3. kiadás. - New York: Springer, 2005. - 786 p.
Peter H. Westfall, S. Stanley Young. Újramintavételen alapuló többszörös tesztelés: Példák és módszerek a p-érték beállításához: [ eng. ] . - Wiley, 1993. - 360 p. - ISBN 978-0-471-55761-6 .