Csernov becslése exponenciálisan csökkenő becsléseket ad a független valószínűségi változók összegei nagy eltéréseinek valószínűségére . Ezek a becslések pontosabbak, mint az első vagy második mozzanatokkal kapott becslések, mint például a Markov-egyenlőtlenség vagy a Csebisev -egyenlőtlenség , amelyek csak a csökkenő hatványtörvényt adják. Ugyanakkor Csernov becslése megköveteli, hogy a valószínűségi változók az aggregátumban függetlenek legyenek, ezt a feltételt sem Markov-egyenlőtlenség, sem Csebisev-egyenlőtlenség nem követeli meg, bár a Csebisev-egyenlőtlenség megköveteli a valószínűségi változók páronkénti függetlenségét .
Csernov becslése Bernstein egyenlőtlenségéhez és Höfding egyenlőtlenségéhez kapcsolódik , amelyek történelmileg megelőzik.
A Csernov-becslés fő esetét egy valószínűségi változóra úgy érjük el, hogy a Markov-egyenlőtlenséget alkalmazzuk e tX -re [1] . Mindenkinek
Ha X n valószínűségi változó összege X 1 , ... , X n , bármely
Pontosabban, ha t -re optimalizáljuk, és feltételezzük, hogy az X i függetlenek, azt kapjuk
(egy)Hasonlóképpen
és így,
A Csernov-féle becslések konkrét értékeit meghatározott mennyiségek kiszámításával kapják meg .
Legyenek X 1 , ..., X n független Bernoulli valószínűségi változók , amelyek összege X , és mindegyik egyenlő 1 valószínűséggel . Egy Bernoulli-változóra a következő igaz:
Következésképpen,
Bármely és , kapunk
,a Chernoff-becslés általános esete pedig azt adja [2] :64
Több mint n /2 esemény egyidejű előfordulásának valószínűsége { X k = 1 } pontosan egyenlő a következővel:
Ennek a valószínűségnek az alsó becslése a Chernoff-egyenlőtlenség segítségével számítható ki:
Valóban, ha μ = np -t jelölünk , megkapjuk a Chernoff-becslés multiplikatív alakját (lásd alább vagy a 13.3 következményt Sinclair osztályjegyzeteiben) [3] :
Ez az eredmény különféle általánosításokat enged meg, amint azt alább megjegyezzük. A Chernoff-becslések többféle formája is megfigyelhető: az eredeti additív forma (becslést ad az abszolút hibára ) vagy a gyakorlatiasabb multiplikatív forma (korlátozza a hibát az átlaghoz képest).
A következő tételt Wassily Hoefding [4] bizonyította .
Csernov-Hoefding tétel . Legyenek X 1 , ..., X n független , azonos eloszlású valószínűségi változók , amelyek értékei {0, 1}. Legyen p = E[ X ] és ε > 0 . Akkor ahol Ez a Kullback-Leibler eltérés azon valószínűségi változók között, amelyek Bernoulli-eloszlásúak x és y paraméterekkel . Ha p ≥egy2, akkorEgyszerűbb becslést kapunk, ha ezt a tételt gyengítjük a D ( p + ε || p ) ≥ 2 ε 2 egyenlőtlenséggel , amely D ( p + ε || p ) konvexitásából és abból a tényből következik, hogy
Ez az eredmény a Hoefding-egyenlőtlenség speciális esete . Egyes esetekben becsléseket használnak
erősebb p < eseténegynyolc.
Hasonló módon ezt bárkinek meg lehet mutatni
A gyakorlatban a fenti képlet gyakran nehézkesnek bizonyul [2] , ezért gyengébb, de kényelmes becsléseket használnak.
amelyeket a logaritmikus egyenlőtlenségek listájából származó egyenlőtlenség felhasználásával kapunk [5] . Vagy még gyengébb egyenlőtlenség
Csernov becslései szerint ritka hálózatok esetén a halmazkiegyenlítés és a csomagok útválasztása is alkalmazható.
A halmazkiegyenlítés problémája egy statisztikai kísérlet tervezésénél merül fel . Jellemzően, amikor egy statisztikai kísérletet tervezünk az adott kísérletben megadott résztvevői tulajdonságokkal, akkor a résztvevőket két nem átfedő csoportra kell osztanunk, hogy minden tulajdonság a lehető legjobban kiegyensúlyozott legyen a két csoport között. Lásd még : Probability and Computing: Randomized Algorithms and Probabilistic Analysis Archiválva 2021. április 16-án a Wayback Machine -nél .
A Chernoff-becsléseket arra is használják, hogy permutációkkal kemény határokat érjenek el az útválasztási problémákban. Ez csökkenti az útválasztási torlódást a ritka hálózatokban. További információ: Valószínűség és számítás: Véletlenszerű algoritmusok és valószínűségi elemzés , archiválva 2021. április 16-án, a Wayback Machine -nél .
A számítási tanulás elméletében a Chernoff-becsléseket is használják annak bizonyítására, hogy a tanulási algoritmus valószínűsége megközelítőleg helyes . Vagyis nagy valószínűséggel ennek az algoritmusnak van egy kis hibája kellően nagy betanítási adathalmazon [6] .
A Chernoff-pontszámok hatékonyan használhatók egy alkalmazás/algoritmus " robusztussági szintjének " értékelésére, ha véletlenszerűsítéssel vizsgálják a perturbációs terét. [7]
Rudolf Ahlswede és Andreas Winter Chernoff becsléseket használt mátrixértékekkel rendelkező valószínűségi változókra. [8] Az egyenlőtlenség következő változata Tropp munkájában található. [9]
Legyenek M 1 , ..., M t valószínűségi változók olyan mátrixértékekkel, hogy és . Jelölje a mátrix norma operátorát . Ha az egyenlőtlenség szinte biztosan mindenre érvényes , akkor minden ε > 0 -ra
Annak megállapításához, hogy a 0-tól való eltérést nagy valószínűséggel ε határolja , a logaritmusával arányos (mintaszámot) kell választanunk . Általános esetben a függőség nem nyilvánvaló: például vegyünk egy diagonális véletlenszerű mátrixot dimenziójelekből . A független mintanorma operátor összege pontosan a legnagyobb eltérés a független véletlenszerű hosszúságú séták között . Ahhoz, hogy állandó valószínűséggel elérjük a maximális eltérés rögzített határát, logaritmikusan kell növekednie -val . [tíz]
A következő tétel abból a feltételezésből származik, hogy a dimenziófüggés elkerülése érdekében alacsony rangú.
Legyen 0 < ε < 1 , és legyen egy véletlenszerű szimmetrikus valós mátrix a és majdnem biztos. Tegyük fel, hogy minden hordozóelemnek legfeljebb rangja van . Tegyük fel
Ha szinte biztosan, akkor
ahol M 1 , ..., M t független, azonos eloszlású másolatai .
Ankit Garg, Yin Tat Lee, Zhao Song és Nikhil Srivastava [11] Chernoff-típusú becsléseket kaptak a mátrix értékű valószínűségi változók összegére, mintavételezett expander véletlenszerű sétával .
Rasmus King és Zhao Song [12] Csernov-típusú becsléseket kapott véletlenszerű fák laplaci mátrixainak összegére.
A Chernoff becslés alábbi változata használható annak a valószínűségére, hogy a lakosság többsége kisebbségbe kerül a mintában és fordítva. [13]
Tegyük fel, hogy létezik egy általános populáció és egy alpopuláció . Jelöljük az alpopuláció relatív méretét ( ) .
Tegyük fel, hogy egy egész számot választunk, és egy véletlenszerű méretű mintát . Jelöljük az alpopuláció relatív méretét ( ) .
Ezután minden megosztásnál :
Konkrétan, ha ─ a többség (azaz ), akkor felülről megbecsülhetjük annak valószínűségét, hogy a többség marad a [ 14] vételnél :
Ez a becslés természetesen nem pontos. Például ha , akkor triviális becslést kapunk .
Legyen q = p + ε . Ha az (1) képletben a = nq -t vesszük, a következőt kapjuk:
Most, ha tudjuk, hogy Pr( X i = 1) = p , Pr( X i = 0) = 1 − p , azt kapjuk
Így könnyen kiszámíthatjuk a minimumot a differenciálási technikával:
Ha a kapott kifejezést nullával egyenlővé tesszük, és az egyenletet -re vonatkozóan megoldjuk , azt kapjuk
így
Következésképpen,
Mivel q = p + ε > p , azt látjuk, hogy t > 0 , így becslésünket t teljesíti . Ha megvan a t , akkor visszatérhetünk az előző egyenletekhez, és megkereshetjük
Most megvan a kívánt eredmény, mert
A szimmetrikus esetben a bizonyítás befejezéséhez egyszerűen definiálunk egy Y i = 1 − X i valószínűségi változót , alkalmazzuk rá pontosan ugyanazt a bizonyítást, és hozzáadjuk az eredményt a becslésünkhöz.
Legyen Pr( X i = 1) = p i . Az (1) képlet szerint
A harmadik sor abból következik, hogy az e t értéket p i valószínűséggel , az 1 értéket pedig 1 − p i valószínűséggel veszi fel . Ez megegyezik a fenti számításokkal az adalékanyag forma bizonyítása során.
Átírva így, és emlékezve arra, hogy (ha x > 0 , akkor az egyenlőtlenség szigorú), beállítjuk . Ugyanezt az eredményt kaphatjuk, ha a Chernoff-becslésben a- t közvetlenül (1 + δ ) μ -re cseréljük . [tizenöt]
Ily módon
Ha csak t = ln(1 + δ ) -t tesszük , hogy t > 0 δ > 0 esetén , akkor ezt bedughatjuk az utolsó kifejezésbe, és megkereshetjük
,Q.E.D.