Simpson paradoxona

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2021. november 27-én felülvizsgált verziótól ; az ellenőrzéshez 1 szerkesztés szükséges .

A Simpson-paradoxon (más néven Yule-Simpson- paradoxon vagy szakszervezeti paradoxon ) olyan hatás, jelenség a statisztikában, amikor két adatcsoport jelenlétében, amelyek mindegyikében egyformán irányított függőség van, ha ezeket a csoportokat egyesítjük. , a függőség iránya az ellenkezőjére változik.

Simpson írta le 1951- ben Udni Yule 1903 - ban A "Simpson paradoxona" nevet Colin Blythe javasolta először 1972 -ben . Mivel azonban nem Simpson volt ennek a hatásnak a felfedezője, egyes szerzők személytelen neveket használnak, mint például a „ szakszervezeti paradoxon ”.

A paradoxon felfedezésének története

A vizsgált helyzetet először Karl Pearson jegyezte meg a "Mathematical Contribution to the Theory of Evolution" [1] című cikkében . A heterogén lócsoportok előjeleinek függőségét veszi figyelembe. Udny Yule részletesebben elemzi az ilyen népességváltozásokat, tanulmányozva az öröklődés mechanizmusait. Simpson a "The Interpretation of Interaction in Contingency Tables" [2] című cikk több részében tárgyalja az általa "különös esetnek" nevezett esetet . Simpson volt az első szerző, aki ezt a jelenséget statisztikai szempontból tanulmányozta. Ezért a későbbi matematikus, K. R. Blythe „A Simpson-paradoxonról és a biztos alapelvről” [3] című cikkében bevezeti a „Simpson-paradoxon” kifejezést.

Példák

Chip példa

Legyen négy kalap (két fekete és két szürke), 41 zseton (23 színes és 18 fehér) és két asztal (A és B). A chipeket a kalapok a következőképpen osztják el:

Az A asztalon egy fekete kalapban 5 színes és 6 fehér zseton található.
Az A asztalon lévő szürke kalapban 3 színes és 4 fehér zseton található.
A fekete kalapban 6 színes és 3 fehér zseton található a B asztalon.
A szürke kalapban 9 színes és 5 fehér zseton található a B asztalon.

Tegyük fel, hogy egy színes chipet szeretne rajzolni.

Ha az A asztal közelében tartózkodik, akkor annak a valószínűsége, hogy egy fekete kalapból színes chipet nyerünk ki, 5/11 = 35/77 , az ugyanazon az asztalon lévő szürke kalapból pedig - 3/7 = 33/77 ; így a fekete kalapból nagyobb valószínűséggel rajzolnak színes chipet, mint egy szürkéről.

Ha a B asztal közelében tartózkodik, akkor annak a valószínűsége, hogy a fekete kalapból színes chipet rajzol, 6/9 = 84/126 , a szürke kalapból pedig 9/14 = 81/126 ; így itt is inkább fekete kalapból lehet színes chipet rajzolni, mint szürkéből.

Tételezzük fel most, hogy a két fekete kalap jelzői egy fekete kalapba, a két szürke kalap jelzői pedig egy szürke kalapba vannak egymásra rakva. Első pillantásra logikus lenne azt feltételezni, hogy nagyobb a valószínűsége annak, hogy egy fekete kalapból színes chipet rajzolnak, mint egy szürke kalapból. De ez rossz:

annak a valószínűsége, hogy egy fekete kalapból színes chipet rajzolunk, 11/20 = 231/420 ,
annak a valószínűsége, hogy egy szürke kalapból színes chipet rajzolunk, 12/21 = 240/420 ,

vagyis a szürke kalapból nagyobb eséllyel lehet színes chipet kinyerni, mint a feketéből [4] .

Kőpélda

Tegyük fel, hogy négy kőkészletünk van. Annak a valószínűsége, hogy az 1. számú készletből fekete követ húznak, nagyobb, mint a 2. számú készletből. Viszont annak a valószínűsége, hogy a 3. számú készletből fekete követ húznak, nagyobb, mint a 4. számú készletből. Kombinálja az 1. számú készletet a 3. számú készlettel (az I. készletet kapjuk), a 2. készletet pedig a 4. készlettel (II. készlet). Intuitív módon azt várnánk, hogy nagyobb a valószínűsége annak, hogy az I. halmazból fekete követ rajzolunk, mint a II. Ez az állítás azonban általános esetben nem igaz.

Valóban, legyen a fekete kövek száma a -edik halmazban (mintában), legyen a -edik halmazban lévő összes kövek száma -val . Feltétel szerint: $n_{i}$ $én$ $m_i$ $én$ $i=1,2,3,4$

{\frac {n_{1}}{m_{1}}}>{\frac {n_{2}}{m_{2}}},{\frac {n_{3}}{m_{3}}} >{\frac {n_{4}}{m_{4}}}.

Annak a valószínűsége, hogy fekete követ rajzolunk az I. és II. halmazból:

{\frac {n_{1}+n_{3}}{m_{1}+m_{3}}},{\frac {n_{2}+n_{4}}{m_{2}+m_{4 }}}.

Az I. halmaz kifejezése nem mindig nagyobb, mint a II. halmaz kifejezése; vagyis megtörténhet az

{\frac {n_{1}+n_{3}}{m_{1}+m_{3}}}<{\frac {n_{2}+n_{4}}{m_{2}+ m_{4}}}.

Például a . Ezt könnyű ellenőrizni . Miközben . $n_{1}=6,~m_{1}=13,~n_{2}=4,~m_{2}=9,~n_{3}=6,~m_{3}=9,~n_{ 4}=9,~m_{4}=14$ $6/13>4/9,~6/9>9/14$ $12/22<13/23$

Okok

A paradoxon oka két, eltérő arányú kontrollmegfigyelések ( nem reprezentatív mintavétel ) adathalmaz helytelen átlagolása . Mivel intuitív módon feltételezzük, hogy a talált függőségek alkalmazásakor a kontroll részaránya mindkét csoportban azonos lesz, és ez a kiindulási adatokban nem igaz, így ezekre a számtani átlagolás nem alkalmazható.

A probléma kiküszöbölésére az átlagolásnál olyan súlyokat kell használni, amelyek kiküszöbölik a kontrollrész torzulását. Tehát a zsetonos példában az A asztalon a szürke kalap zsetonok aránya 7 a 18-ból (39%), a B asztalon pedig 14 a 23-ból (61%).

A színes chip rajzolásának esélyének reprezentatív átlagolásához elegendő az egyik kalapban lévő mindkét színű chipek számát megszorozni egy súlytényezővel, amely kiküszöböli a ferdeséget. Például, ha az A táblázaton egy szürke kalap helyett két ugyanolyan kalapot helyezünk el, akkor az egyes táblázatok valószínűségei külön-külön nem változnak, de megszűnik a paradoxon a táblák kombinálásához: egy színes chip valószínűsége egy szürke kalap 15/28 lesz, azaz kevesebb, mint a feketéből.

A paradoxon feloldásának másik módja a teljes valószínűségi képlet használata .

Simpson paradoxona azt mutatja, hogy a nem reprezentatív mintával végzett szociológiai felmérések eredményeiből származó következtetések nem fogadhatók el megcáfolhatatlannak, tudományosan bizonyítottnak.

Gyakorlati jelentősége

Simpson paradoxona illusztrálja a nem reprezentatív minták általánosításainak érvénytelenségét, amelyek néha életveszélyesek. Így például egy kísérlet során egy csoportban, férfiak és nők egy csoportján, akik ugyanabban a betegségben szenvednek, új gyógyszert adtak a standard kezeléshez. Az eredmény mindkét csoportra külön-külön megerősítette az új szer hatékonyságát.

Férfiak	Gyógyszer szedése	Nem szed gyógyszert
felépült	700	80
Fel nem térítve	800	130
Hányados	0,875	0,615

Nők	Gyógyszer szedése	Nem szed gyógyszert
felépült	150	400
Fel nem térítve	70	280
Hányados	2.142	1.429

Intuitív feltevés, hogy ha mindkét csoportban van függőség, akkor ennek a csoportok kombinálásakor is meg kell jelennie. Ám bár a gyógyultak és betegek aránya mind a kábítószert szedő nők, mind a férfiak körében nagyobb, mint a nem használók között, az összesített adatokban a kontrollcsoport nem reprezentatív jellege miatt ez a minta nem áll fenn.

Összeg	Gyógyszer szedése	Nem szed gyógyszert
felépült	850	480
Fel nem térítve	870	410
Hányados	0,977	1.171

Az összesített adatokban az arány 850/870<480/410, azaz 0,977<1,171. Ezért a gyógyszert szedők aránya kisebb volt, mint a nem szedők aránya.

A paradoxon kiküszöbölése érdekében meg kell jegyezni, hogy a kontrollcsoport és a kezelt csoport aránya a fenti csoportokban élesen eltér: a férfiaknál (80+130)/(700+800) = 14%, a nőknél pedig 400+280)/(150+70) = 309%.

A helyes átlagoláshoz szükséges a kontrollcsoport reprezentativitását mindkét mintában súlykoefficiensek bevezetésével biztosítani, hogy a kontrollok súlyozott aránya mindkét csoportban azonos legyen. Ebben az esetben elegendő a gyógyszert nem szedő férfiak számát megszorozni a 22,07 súlyozó tényezővel. A módosított táblázatok így fognak kinézni:

Férfiak	házigazdája gyógyszer	Nem szed gyógyszert
Férfiak	házigazdája gyógyszer	a kezdeti	súllyal x22,07
felépült	700	80	1765
Fel nem térítve	800	130	2869
Hányados	0,875	0,615

Összeg	házigazdája gyógyszer	Nem szed gyógyszert
Összeg	házigazdája gyógyszer	a kezdeti	súllyal x22,07
felépült	850	480	2165
Fel nem térítve	870	410	3149
Hányados	0,977	1.171	0,685

A gyógyultak és a nem gyógyultak súlyozott számának aránya a gyógyszert nem szedők körében ebben az esetben 0,685 lesz, vagyis alacsonyabb, mint a gyógyszert szedőkénál. Ez megszünteti a paradoxont, és megmutatja a gyógyszer nélkül gyógyultak és a nem gyógyultak arányát a kábítószert szedők arányában a férfiak és nők között, ami lehetővé teszi ezen számok összehasonlítását.

Lásd még

A Will Rogers-jelenség

Jegyzetek

↑ Karl Pearson. Matematikai hozzájárulások az evolúcióelmélethez. V. Az őskori fajok termetének rekonstrukciójáról. Phil. Trans. R. Soc. London. A. 1899 192:169-244 doi:10.1098/rsta.1899.0004
↑ The Interpretation of Interaction in Contingency Tables // Journal of the Royal Statistical Society, B, 13 (1951) - pp. 238-241
↑ Blyth, Colin R. A Simpson-paradoxonról és a biztos alapelvről // Journal of the American Statistical Association , 67 (1972) - p. 364.
↑ M. Gardner . 19. fejezet Indukció és valószínűség // Időutazás = Time Travel and Other Mathematical Bewilderments / Angolból fordította Yu. A. Danilov . - M .: Mir , 1990. - S. 278-279. — 341 p. — ISBN 5-03-001166-8 .

Linkek

A Simpson-paradoxon használata élő baktériummodellben – az Elements weboldalán
Sekey G. Paradoxonok a valószínűségelméletben és a matematikai statisztikákban - M.: Mir, 1990. - P. 132-133. — 240 s.
Judea Pearl. Simpson paradoxona: Anatomy. – Technikai jelentés – 1999. április – 11. o. (Angol)
A matematika egyes szavainak legkorábbi ismert használata (S) – szept . 2011. 24. (angol)
Simpson paradoxona – először 2004. február 2-án jelent meg; érdemi átdolgozás 2009. augusztus 6. csütörtök
És most ki rúgja a büntetőt? (hivatkozás nem elérhető) - Gyakorlati példa a Simpson-paradoxonra a Matifutbolban (a link nem érhető el )