Wzór Bayesa
gdzie B1, B2, ..., Bn tworzą układ zupełny zdarzeń, a mianownik to prawdopodobieństwo całkowite P(A)
Czym jest wzór Bayesa?
Wzór Bayesa pozwala "odwrócić" warunkowanie: znając P(A|Bi) - prawdopodobieństwo obserwacji A w różnych scenariuszach - obliczamy P(Bi|A), czyli prawdopodobieństwo, że to właśnie scenariusz Bi odpowiada za zaobserwowane zdarzenie A. Jest to jedno z najważniejszych narzędzi rachunku prawdopodobieństwa.
Intuicyjnie: wiemy, jak często różne przyczyny prowadzą do danego skutku. Po zaobserwowaniu skutku chcemy ocenić, która przyczyna najprawdopodobniej za nim stoi. Na przykład: znamy odsetek wadliwych produktów w każdej fabryce. Gdy wylosowany produkt okazuje się wadliwy, wzór Bayesa pozwala obliczyć, z której fabryki najprawdopodobniej pochodzi.
Elementy wzoru
Prawdopodobieństwo a posteriori - szansa, że zachodzi scenariusz Bi, gdy wiemy, że zaszło zdarzenie A. To wartość, którą chcemy obliczyć.
Wiarygodność (likelihood) - prawdopodobieństwo zaobserwowania A, jeśli zachodzi scenariusz Bi. Jak dobrze scenariusz Bi tłumaczy obserwację A.
Prawdopodobieństwo a priori - początkowa ocena prawdopodobieństwa scenariusza Bi, zanim poznamy wynik obserwacji. Wiedza wstępna o proporcjach scenariuszy.
Prawdopodobieństwo całkowite P(A) - mianownik normalizujący, obliczany ze wzoru na prawdopodobieństwo całkowite. Zapewnia, że suma P(Bi|A) po wszystkich i wynosi 1.
Interpretacja wzoru
Znamy "skutek danej przyczyny" P(A|Bi), a chcemy poznać "przyczynę danego skutku" P(Bi|A). Wzór Bayesa zamienia jedno w drugie, uwzględniając początkowe prawdopodobieństwa scenariuszy P(Bi).
Wzór opisuje, jak nowe dane zmieniają nasze przekonania. Zaczynamy z przekonaniem a priori P(Bi), obserwujemy A, i aktualizujemy do a posteriori P(Bi|A). Scenariusze, które lepiej tłumaczą obserwację (wyższe P(A|Bi)), zyskują na prawdopodobieństwie.
P(Bi|A) jest proporcjonalne do P(A|Bi) · P(Bi). Scenariusz wygrywa, gdy jest zarówno prawdopodobny sam w sobie (wysokie P(Bi)), jak i dobrze tłumaczy obserwację (wysokie P(A|Bi)). Mianownik to stała normalizująca.
Wizualizacja
Poniższy wykres ilustruje działanie wzoru Bayesa. Porównuje prawdopodobieństwa a priori P(Bi) z prawdopodobieństwami a posteriori P(Bi|A), pokazując, jak obserwacja zdarzenia A zmienia ocenę prawdopodobieństwa poszczególnych scenariuszy.
Początkowe prawdopodobieństwa scenariuszy
Zaktualizowane po zaobserwowaniu A
Jak dobrze scenariusz tłumaczy obserwację
Kiedy stosować wzór Bayesa?
- Wnioskowanie o przyczynach - gdy zaobserwowaliśmy skutek i chcemy ocenić, która przyczyna go spowodowała (np. wadliwy produkt - z której fabryki?)
- Diagnostyka i testy - obliczanie prawdopodobieństwa choroby po pozytywnym wyniku testu, uwzględniając czułość testu i częstość choroby w populacji
- Klasyfikacja - przypisywanie obiektów do kategorii na podstawie obserwowanych cech (np. filtrowanie spamu)
- Aktualizacja wiedzy - gdy chcemy formalnie zaktualizować początkowe oceny prawdopodobieństwa po otrzymaniu nowych danych
Przykłady obliczeniowe
Przykład 1: Wadliwy produkt z dwóch fabryk
Zadanie: Fabryka A produkuje 60% wszystkich żarówek, a fabryka B - 40%. Odsetek wadliwych żarówek wynosi 3% w fabryce A i 5% w fabryce B. Wylosowana żarówka okazała się wadliwa. Jakie jest prawdopodobieństwo, że pochodzi z fabryki B?
Rozwiązanie:
Oznaczmy: W = "wadliwa", B1 = "fabryka A", B2 = "fabryka B". Szukamy P(B2|W).
Obliczamy mianownik (prawdopodobieństwo całkowite):
Stosujemy wzór Bayesa:
Odpowiedź: Prawdopodobieństwo, że wadliwa żarówka pochodzi z fabryki B, wynosi ok. 52,6%. Choć fabryka B produkuje mniej żarówek (40%), ma wyższy odsetek wadliwych, więc po zaobserwowaniu wady staje się bardziej prawdopodobnym źródłem niż fabryka A (47,4%).
Przykład 2: Test diagnostyczny
Zadanie: Pewna choroba dotyka 1% populacji. Test diagnostyczny ma czułość 95% (wykrywa chorobę u 95% chorych) i swoistość 90% (daje wynik negatywny u 90% zdrowych). Osoba otrzymała wynik pozytywny. Jakie jest prawdopodobieństwo, że jest naprawdę chora?
Rozwiązanie:
Oznaczmy: T+ = "pozytywny wynik", C = "chory", Z = "zdrowy". Szukamy P(C|T+).
Prawdopodobieństwo całkowite pozytywnego wyniku:
Odpowiedź: Prawdopodobieństwo choroby po pozytywnym wyniku wynosi zaledwie ok. 8,8%. Mimo wysokiej czułości testu (95%), niska częstość choroby (1%) sprawia, że większość pozytywnych wyników to fałszywe alarmy. To klasyczny przykład paradoksu fałszywych alarmów.
Przykład 3: Trzy urny
Zadanie: Mamy trzy urny. Urna I zawiera 5 kul białych i 1 czarną. Urna II zawiera 3 białe i 3 czarne. Urna III zawiera 1 białą i 5 czarnych. Losujemy urnę z prawdopodobieństwami: P(I) = 1/2, P(II) = 1/3, P(III) = 1/6. Wylosowana kula okazała się biała. Z której urny najprawdopodobniej pochodzi?
Rozwiązanie:
Oznaczmy: A = "biała kula". Obliczamy P(A|Bi) dla każdej urny:
Prawdopodobieństwo całkowite:
Stosujemy wzór Bayesa dla każdej urny:
Odpowiedź: Biała kula najprawdopodobniej pochodzi z urny I: P(B1|A) ≈ 68,2%. Urna I ma zarówno najwyższe P(Bi) = 1/2, jak i najwyższy odsetek białych kul (5/6). Sprawdzenie: 15/22 + 3/11 + 1/22 = 15/22 + 6/22 + 1/22 = 22/22 = 1.
Przykład 4: Przyczyna spóźnienia
Zadanie: Uczeń dojeżdża do szkoły autobusem (70% dni) lub rowerem (30% dni). Gdy jedzie autobusem, spóźnia się z prawdopodobieństwem 0,20. Gdy jedzie rowerem, spóźnia się z prawdopodobieństwem 0,05. Uczeń spóźnił się. Jakie jest prawdopodobieństwo, że jechał autobusem?
Rozwiązanie:
Oznaczmy: S = "spóźnił się", A = "autobus", R = "rower".
Odpowiedź: Prawdopodobieństwo, że spóźniony uczeń jechał autobusem, wynosi ok. 90,3%. Autobus jest nie tylko częstszym środkiem transportu (70%), ale też czterokrotnie częściej powoduje spóźnienia (20% vs 5%), co czyni go zdecydowanie najprawdopodobniejszą przyczyną.
Częste błędy
Mylenie P(A|B) z P(B|A)
Najczęstszy błąd to utożsamianie P(A|Bi) z P(Bi|A). Fakt, że test wykrywa chorobę w 95% przypadków (P(T+|C) = 0,95), nie oznacza, że 95% pozytywnych wyników to prawdziwe choroby (P(C|T+) ≠ 0,95). To fundamentalne nieporozumienie, które wzór Bayesa koryguje.
Pomijanie prawdopodobieństwa a priori
Błędem jest porównywanie tylko P(A|Bi) bez uwzględniania P(Bi). Scenariusz z mniejszym P(A|Bi), ale znacznie większym P(Bi), może mieć wyższe P(Bi|A). Zarówno wiarygodność, jak i prawdopodobieństwo a priori mają znaczenie.
Błędny mianownik
Mianownik musi być prawdopodobieństwem całkowitym P(A) = ∑P(A|Bj) · P(Bj), a nie po prostu P(A|Bi) czy jakąś inną wartością. Błędny mianownik powoduje, że suma P(Bi|A) nie wyniesie 1, co jest sygnałem pomyłki.
Zapominanie o normalizacji
Obliczanie samego licznika P(A|Bi) · P(Bi) daje wkład scenariusza, ale nie prawdopodobieństwo a posteriori. Trzeba podzielić przez sumę wszystkich wkładów, aby uzyskać poprawne prawdopodobieństwo z zakresu [0, 1].
Porady i wskazówki
Tabelka systematyczna: Utwórz tabelkę z kolumnami: scenariusz Bi, P(Bi), P(A|Bi), iloczyn P(A|Bi)·P(Bi). Suma kolumny iloczynów to P(A). Każdy iloczyn podzielony przez tę sumę daje P(Bi|A).
Sprawdzaj sumę: Suma P(Bi|A) po wszystkich scenariuszach musi wynosić 1. Jeśli tak nie jest, popełniono błąd obliczeniowy. To najszybszy test poprawności wyniku.
Kierunek zmian: Jeśli P(A|Bi) > P(A), to obserwacja A zwiększa prawdopodobieństwo Bi (P(Bi|A) > P(Bi)). Scenariusze, które "lepiej tłumaczą" obserwację, zyskują na prawdopodobieństwie.
Dwa scenariusze - uproszczenie: Przy dwóch scenariuszach (B i B') wzór upraszcza się: P(B|A) = P(A|B)·P(B) / [P(A|B)·P(B) + P(A|B')·P(B')]. Nie trzeba zapamiętywać ogólnej formy.
Przypadki szczególne
Dwa scenariusze (B i B')
Najczęstszy przypadek: podział na dwa komplementarne zdarzenia. Wzór redukuje się do prostszej formy z dwoma składnikami.
Przykład: P(chory|test+) z czułością, swoistością i częstością choroby.
Równe prawdopodobieństwa a priori
Gdy P(B1) = P(B2) = ... = 1/n, prawdopodobieństwa a priori się upraszczają i wynik zależy wyłącznie od wiarygodności P(A|Bi).
Przykład: Trzy równie prawdopodobne urny. Wygrywa ta, która ma najwyższy odsetek poszukiwanych kul.
Niezależność A od Bi
Gdy P(A|Bi) = P(A) dla każdego i, obserwacja A nie zmienia oceny scenariuszy. Prawdopodobieństwa a posteriori równe są a priori.
Obserwacja nie niesie żadnej informacji o przyczynie - żaden scenariusz nie wyjaśnia jej lepiej niż inny.
Iloraz szans (odds form)
Dla dwóch scenariuszy wzór Bayesa można zapisać jako iloraz szans a posteriori = iloraz wiarygodności × iloraz szans a priori.
Ta forma pozwala szybko porównać dwa scenariusze bez obliczania mianownika.