Chernov pontszáma

Csernov becslése exponenciálisan csökkenő becsléseket ad a független valószínűségi változók összegei nagy eltéréseinek valószínűségére . Ezek a becslések pontosabbak, mint az első vagy második mozzanatokkal kapott becslések, mint például a Markov-egyenlőtlenség vagy a Csebisev -egyenlőtlenség , amelyek csak a csökkenő hatványtörvényt adják. Ugyanakkor Csernov becslése megköveteli, hogy a valószínűségi változók az aggregátumban függetlenek legyenek, ezt a feltételt sem Markov-egyenlőtlenség, sem Csebisev-egyenlőtlenség nem követeli meg, bár a Csebisev-egyenlőtlenség megköveteli a valószínűségi változók páronkénti függetlenségét .

Csernov becslése Bernstein egyenlőtlenségéhez és Höfding egyenlőtlenségéhez kapcsolódik , amelyek történelmileg megelőzik.

Alapeset

A Csernov-becslés fő esetét egy valószínűségi változóra úgy érjük el, hogy a Markov-egyenlőtlenséget alkalmazzuk e tX -re [1] . Mindenkinek

Ha X n valószínűségi változó összege X 1 , ... , X n , bármely

Pontosabban, ha t -re optimalizáljuk, és feltételezzük, hogy az X i függetlenek, azt kapjuk

(egy)

Hasonlóképpen

és így,

A Csernov-féle becslések konkrét értékeit meghatározott mennyiségek kiszámításával kapják meg .

Példa

Legyenek X 1 , ..., X n független Bernoulli valószínűségi változók , amelyek összege X , és mindegyik egyenlő 1 valószínűséggel . Egy Bernoulli-változóra a következő igaz:

Következésképpen,

Bármely és , kapunk

,

a Chernoff-becslés általános esete pedig azt adja [2] :64

Több mint n /2 esemény egyidejű előfordulásának valószínűsége { X k = 1 } pontosan egyenlő a következővel:

Ennek a valószínűségnek az alsó becslése a Chernoff-egyenlőtlenség segítségével számítható ki:

Valóban, ha μ = np -t jelölünk , megkapjuk a Chernoff-becslés multiplikatív alakját (lásd alább vagy a 13.3 következményt Sinclair osztályjegyzeteiben) [3] :

Ez az eredmény különféle általánosításokat enged meg, amint azt alább megjegyezzük. A Chernoff-becslések többféle formája is megfigyelhető: az eredeti additív forma (becslést ad az abszolút hibára ) vagy a gyakorlatiasabb multiplikatív forma (korlátozza a hibát az átlaghoz képest).

Additív forma (abszolút hiba értékelése)

A következő tételt Wassily Hoefding [4] bizonyította .

Csernov-Hoefding tétel . Legyenek X 1 , ..., X n független , azonos eloszlású valószínűségi változók , amelyek értékei {0, 1}. Legyen p = E[ X ] és ε > 0 . Akkor ahol Ez a Kullback-Leibler eltérés azon valószínűségi változók között, amelyek Bernoulli-eloszlásúak x és y paraméterekkel . Ha pegy2, akkor

Egyszerűbb becslést kapunk, ha ezt a tételt gyengítjük a D ( p + ε || p ) ≥ 2 ε 2 egyenlőtlenséggel , amely D ( p + ε || p ) konvexitásából és abból a tényből következik, hogy

Ez az eredmény a Hoefding-egyenlőtlenség speciális esete . Egyes esetekben becsléseket használnak

erősebb p < eseténegynyolc.

Multiplikatív forma (relatív hiba becslése)

Multiplikatív Csernov becslés . Legyenek X 1 , ..., X n független valószínűségi változók, amelyek a(z) {0, 1} értékeket veszik fel . Az összegüket jelöljük X - el, ennek az összegnek a várható értékét μ -vel . Aztán mindenre

Hasonló módon ezt bárkinek meg lehet mutatni

A gyakorlatban a fenti képlet gyakran nehézkesnek bizonyul [2] , ezért gyengébb, de kényelmes becsléseket használnak.

amelyeket a logaritmikus egyenlőtlenségek listájából származó egyenlőtlenség felhasználásával kapunk [5] . Vagy még gyengébb egyenlőtlenség

Alkalmazások

Csernov becslései szerint ritka hálózatok esetén a halmazkiegyenlítés és a csomagok útválasztása is alkalmazható.

A halmazkiegyenlítés problémája egy statisztikai kísérlet tervezésénél merül fel . Jellemzően, amikor egy statisztikai kísérletet tervezünk az adott kísérletben megadott résztvevői tulajdonságokkal, akkor a résztvevőket két nem átfedő csoportra kell osztanunk, hogy minden tulajdonság a lehető legjobban kiegyensúlyozott legyen a két csoport között. Lásd még : Probability and Computing: Randomized Algorithms and Probabilistic Analysis Archiválva 2021. április 16-án a Wayback Machine -nél .

A Chernoff-becsléseket arra is használják, hogy permutációkkal kemény határokat érjenek el az útválasztási problémákban. Ez csökkenti az útválasztási torlódást a ritka hálózatokban. További információ: Valószínűség és számítás: Véletlenszerű algoritmusok és valószínűségi elemzés , archiválva 2021. április 16-án, a Wayback Machine -nél .

A számítási tanulás elméletében a Chernoff-becsléseket is használják annak bizonyítására, hogy a tanulási algoritmus valószínűsége megközelítőleg helyes . Vagyis nagy valószínűséggel ennek az algoritmusnak van egy kis hibája kellően nagy betanítási adathalmazon [6] .

A Chernoff-pontszámok hatékonyan használhatók egy alkalmazás/algoritmus " robusztussági szintjének " értékelésére, ha véletlenszerűsítéssel vizsgálják a perturbációs terét. [7]

Mátrix pontszám

Rudolf Ahlswede és Andreas Winter Chernoff becsléseket használt mátrixértékekkel rendelkező valószínűségi változókra. [8] Az egyenlőtlenség következő változata Tropp munkájában található. [9]

Legyenek M 1 , ..., M t valószínűségi változók olyan mátrixértékekkel, hogy és . Jelölje a mátrix norma operátorát . Ha az egyenlőtlenség szinte biztosan mindenre érvényes , akkor minden ε > 0 -ra

Annak megállapításához, hogy a 0-tól való eltérést nagy valószínűséggel ε határolja , a logaritmusával arányos (mintaszámot) kell választanunk . Általános esetben a függőség nem nyilvánvaló: például vegyünk egy diagonális véletlenszerű mátrixot dimenziójelekből . A független mintanorma operátor összege pontosan a legnagyobb eltérés a független véletlenszerű hosszúságú séták között . Ahhoz, hogy állandó valószínűséggel elérjük a maximális eltérés rögzített határát, logaritmikusan kell növekednie -val . [tíz]

A következő tétel abból a feltételezésből származik, hogy a dimenziófüggés elkerülése érdekében alacsony rangú.

Tétel dimenziófüggés nélkül

Legyen 0 < ε < 1 , és legyen egy véletlenszerű szimmetrikus valós mátrix a és majdnem biztos. Tegyük fel, hogy minden hordozóelemnek legfeljebb rangja van . Tegyük fel

Ha szinte biztosan, akkor

ahol M 1 , ..., M t független, azonos eloszlású másolatai .

Tétel nem teljesen véletlenszerű mátrixokhoz

Ankit Garg, Yin Tat Lee, Zhao Song és Nikhil Srivastava [11] Chernoff-típusú becsléseket kaptak a mátrix értékű valószínűségi változók összegére, mintavételezett expander véletlenszerű sétával .

Rasmus King és Zhao Song [12] Csernov-típusú becsléseket kapott véletlenszerű fák laplaci mátrixainak összegére.

Mintavételi változat

A Chernoff becslés alábbi változata használható annak a valószínűségére, hogy a lakosság többsége kisebbségbe kerül a mintában és fordítva. [13]

Tegyük fel, hogy létezik egy általános populáció és egy alpopuláció . Jelöljük az alpopuláció relatív méretét ( ) .

Tegyük fel, hogy egy egész számot választunk, és egy véletlenszerű méretű mintát . Jelöljük az alpopuláció relatív méretét ( ) .

Ezután minden megosztásnál :

Konkrétan, ha ─ a többség (azaz ), akkor felülről megbecsülhetjük annak valószínűségét, hogy a többség marad a [ 14] vételnél :

Ez a becslés természetesen nem pontos. Például ha , akkor triviális becslést kapunk .

Bizonyíték

Chernov-Hoefding tétel (additív forma)

Legyen q = p + ε . Ha az (1) képletben a = nq -t vesszük, a következőt kapjuk:

Most, ha tudjuk, hogy Pr( X i = 1) = p , Pr( X i = 0) = 1 − p , azt kapjuk

Így könnyen kiszámíthatjuk a minimumot a differenciálási technikával:

Ha a kapott kifejezést nullával egyenlővé tesszük, és az egyenletet -re vonatkozóan megoldjuk , azt kapjuk

így

Következésképpen,

Mivel q = p + ε > p , azt látjuk, hogy t > 0 , így becslésünket t teljesíti . Ha megvan a t , akkor visszatérhetünk az előző egyenletekhez, és megkereshetjük

Most megvan a kívánt eredmény, mert

A szimmetrikus esetben a bizonyítás befejezéséhez egyszerűen definiálunk egy Y i = 1 − X i valószínűségi változót , alkalmazzuk rá pontosan ugyanazt a bizonyítást, és hozzáadjuk az eredményt a becslésünkhöz.

Multiplikatív forma

Legyen Pr( X i = 1) = p i . Az (1) képlet szerint

A harmadik sor abból következik, hogy az e t értéket p i valószínűséggel , az 1 értéket pedig 1 − p i valószínűséggel veszi fel . Ez megegyezik a fenti számításokkal az adalékanyag forma bizonyítása során.

Átírva így, és emlékezve arra, hogy (ha x > 0 , akkor az egyenlőtlenség szigorú), beállítjuk . Ugyanezt az eredményt kaphatjuk, ha a Chernoff-becslésben a- t közvetlenül (1 + δ ) μ -re cseréljük . [tizenöt]

Ily módon

Ha csak t = ln(1 + δ ) -t tesszük , hogy t > 0 δ > 0 esetén , akkor ezt bedughatjuk az utolsó kifejezésbe, és megkereshetjük

,

Q.E.D.

Lásd még

Linkek

  1. Ezt a módszert először Szergej Bernstein alkalmazta a Bernstein-egyenlőtlenségekkel kapcsolatos bizonyításokban .
  2. 1 2 Mitzenmacher, Michael és Upfal, Eli. Valószínűségszámítás és számítás: Véletlenszerű algoritmusok és valószínűségi elemzés . - Cambridge University Press, 2005. - ISBN 978-0-521-83540-4 . - doi : 10.1017/CBO9780511813603.005 . Archiválva : 2021. április 16. a Wayback Machine -nél
  3. Sinclair, Alistair Osztályjegyzetek a "Véletlenség és számítás" kurzushoz (hivatkozás nem érhető el) (2011 ősz). Letöltve: 2014. október 30. Az eredetiből archiválva : 2014. október 31.. 
  4. Hoeffding, W. (1963). „Valószínűségi egyenlőtlenségek határos véletlenszerű változók összegére” (PDF) . Az Amerikai Statisztikai Szövetség folyóirata . 58 (301): 13-30. DOI : 10.2307/2282952 . JSTOR  2282952 .
  5. Hasznos egyenlőtlenségek . logaritmus . Letöltve: 2020. május 13. Az eredetiből archiválva : 2020. augusztus 19.
  6. M. Kearns, U. Vazirani. Bevezetés a számítógépes tanuláselméletbe. 9. fejezet (Függelék), 190-192. oldal. MIT Press, 1994.
  7. C.Alippi: „Véletlenszerű algoritmusok” fejezet az Intelligence for Embedded Systems-ben. Springer, 2014, 283 pp ISBN 978-3-319-05278-6 .
  8. Ahlswede, R.; Winter, A. (2003). „Erős beszélgetés a kvantumcsatornákon keresztüli azonosításhoz”. IEEE Transactions on Information Theory . 48 (3): 569-579. arXiv : quant-ph/0012127 . DOI : 10.1109/18.985947 .
  9. Tropp, J. (2010). „Felhasználóbarát véghatárok véletlen mátrixok összegeihez”. A számítógépes matematika alapjai . 12 (4): 389-434. arXiv : 1004.4389 . DOI : 10.1007/s10208-011-9099-z .
  10. Magen, A. & Zouzias, A. (2011), Alacsony rangú mátrixértékű Chernoff-határok és közelítő mátrixszorzás, arΧiv : 1005.2724 [cs.DM]. 
  11. Ankit Garg, Yin Tat Lee, Zhao Song, Nikhil Srivastava. A Matrix Expander Chernoff Bound  // Association for Computing MachineryNew YorkNYEgyesült Államok. — 2018. Archiválva : 2021. április 14.
  12. Rasmus Kyng, Zhao Song. Mátrix Chernoff-kötés erős Rayleigh-eloszlások és spektrális porlasztók számára néhány véletlenszerűen terjedő fáról  // FOCS. - 2018. - október 1. Archiválva az eredetiből 2021. április 22-én.
  13. Goldberg, AV Competitive Auctions for Multiple Digital Goods // Algoritmusok - ESA 2001 / AV Goldberg, JD Hartline. - 2001. - 20. évf. 2161. - P. 416. - ISBN 978-3-540-42493-2 . - doi : 10.1007/3-540-44676-1_35 . ; Lemma 6.1
  14. Grafikonok megtekintése: Határ az r függvényében változó k -val Archivált : 2015. január 4. a Wayback Machine -nél és a Frontier a k függvényében változó r -vel Archiválva : 2015. január 4. a Wayback Machine -nél .
  15. Lásd a fenti bizonyítékot.

További olvasnivaló