2.5. Теорема гіпотез (формула Байєса)

Додаткова інформація

Томас Байєс (Баєс, Бейз, Бейєс, англ. Reverend Thomas Bayes) – англійський математик і пресвітеріанський священик, член Лондонського королівського товариства (з 1742).

Народився в 1702 році в Лондоні. Навчався вдома, у 1719 році вступив до Единбурзького університету. Потім Баєс допомагав батькові проводити службу, а незабаром, у 30-х роках, сам став священиком в пресвітеріанскій церкві. У 1752 році він вийшов у відставку; помер 7 квітня 1761 року.

Математичні інтереси Баєсса відносяться до теорії ймовірностей. Він сформулював і вирішив одну з основних задач цього розділу математики (теорема Баєса). Робота, присвячена цій меті, була опублікована в 1763 році після його смерті.

 

Нехай подія \(A\) наступає лише за умови появи однієї з несумісних випадкових подій (гіпотез) \(H_{1},H_{2},\cdots H_{n}\), що утворюють повну групу випадкових подій. Припустимо, що подія \(A\) вже відбулась, і необхідно визначити ймовірність того, що подія \(A\) відбулась саме завдяки реалізації гіпотези \(H_{i}\). На це питання дає відповідь теорема гіпотез, або формула Байєса. Теорему гіпотез можна вважати наслідком теореми множення ймовірностей та формули повної ймовірності.

Ймовірність \(P(H_{i}|{A}),\) яка визначається як ймовірність гіпотези \(H_{i}\) за умови, що подія \(A\) відбулась, називається апостеріорною ймовірністю (на відміну від апріорної ймовірності \(P(H_{i})\), яка відома ще до початку випробувань). Апостеріорна ймовірність обчислюється за формулою Байєса (2.13):

\[\begin{equation} P\left( H_{i}|A \right) = \frac{P(H_{i}) \cdot P(A|H_{i})}{\ P(A)}. \tag{2.13} \end{equation}\]

Доведення

Для визначення ймовірності добутку події \(A\) й довільної гіпотези \(H_{i}\) застосуємо теорему множення ймовірностей. Вона має вигляд: \[P\left( H_{i}|A \right) = P(H_{i}) \cdot P(A|H_{i})\] або \[P\left( H_{i}|A \right) = P(A) \cdot P(H_{i}|A).\] Прирівнюємо праві частини обох виразів і знаходимо звідти апостеріорну ймовірність:

\[P\left( H_{i} \middle| A \right) = \frac{P(H_{i}) \cdot P(A|H_{i})}{P(A)}.\]

Визначивши \(P(A)\) за допомогою формули повної ймовірності (2.11), отримаємо вираз (2.13), що і потрібно було довести.

Розглянемо застосування теореми гіпотез на прикладі 2.6. про виграш за лотерейним білетом.

Приклад 2.7.

Нагадаємо, що за умовою прикладу 2.6 людина придбала два білети лотереї, де виграш припадає на три білети з десяти, і три білети лотереї, де виграш припадає на чотири білети з десяти. Припустимо, що на один з цих білетів припав виграш. Визначимо ймовірність того, що виграшним виявився саме білет лотереї «три з десяти».

Розв’язання

Оскільки подія \(A\) (виграш припав на один з п’яти білетів) вже відбулась, то мова йде про визначення апостеріорної ймовірності, обчислення якої здійснюється за формулою Байєса (2.13). При цьому, у знаменнику цієї формули міститься значення повної ймовірності події \(A\) (його ми обчислили у попередньому прикладі), а у чисельнику – ймовірність виграшу за білетом «три з десяти» (це перший доданок у формулі повної ймовірності). За теоремою гіпотез отримуємо значення апостеріорної ймовірності для гіпотези \(H_{1}\):

\[P\left( H_{1} \middle| A \right) = \frac{0,4\cdot 0,3}{0,36} = \frac{1}{3}.\]

Давайте також визначимо апостеріорну ймовірність гіпотези \(H_{2}\). За формулою Байєса ймовірність того, що виграшним виявився один з білетів лотереї «чотири з десяти», дорівнює:

\[P\left( H_{2} \middle| A \right) = \frac{0,6\cdot0,4}{0,36} = \frac{2}{3}.\]

Отже, сума апостеріорних ймовірностей дорівнює одиниці:

\[P\left( H_{1} \middle| A \right) + P{(H}_{2}\left| A \right) = \frac{1}{3} + \frac{2}{3} = 1.\]

Дійсно, так і повинно бути, оскільки за умовою прикладу відомо, що один з придбаних п’яти білетів виявився виграшним. Це міг бути білет або лотереї «три з десяти» , або лотереї «чотири з десяти», тобто випадкові події \(H_{1}\ |\ A\) та \(H_{2}\ |\ A\) утворюють повну групу несумісних подій. Відповідно, сума їх ймовірностей повинна дорівнювати одиниці.

Сучасний метод статистичного аналізу, застосування якого зараз поширюється в економічних дослідженнях, спирається на саме поняття апостеріорної ймовірності та використання формули Байєса. Відомо, що одним із завдань теорії ймовірностей є розробка інструментарію статистичного аналізу, який допомагає приймати рішення в умовах невизначеності. Байєсівський аналіз відрізняється від класичної статистики припущенням, що параметри розподілів є не постійними, а випадковими змінними. Ймовірність Байєса можна легко зрозуміти, якщо розглядати її як ступінь впевненості у відповідній події в протилежність до класичного підходу, заснованого на об’єктивних свідченнях. Оскільки підхід Байєса заснований на суб’єктивній інтерпретації ймовірності, то він може бути корисний при виборі рішення і розробки мереж Байєса (або мереж довіри, belief nets). Мережі Байєса можуть бути застосовані для вивчення причинних зв’язків, поглиблення розуміння проблемної області та прогнозування наслідків втручання в систему.

Цікаво знати

Коли ми аналізуємо реальні дані, зазвичай нас цікавить якийсь параметр цих даних. Тоді ми можемо побудувати таблицю ймовірностей, де рядками будуть наші експериментальні дані (позначимо їх Data), а стовпцями — можливі значення параметра, який нас цікавить (позначимо його θ). Нам необхідно визначити ймовірність, з якою ми можемо очікувати певне значення параметра на основі наявних даних. Це умовна ймовірність, яка обчислюється за формулою Байєса:

\[p\left( \theta \middle| \text{Data} \right) = \frac{p\left( \text{Data} \middle| \theta \right)\cdot p(\theta)}{p(Data)}.\]

Тобто в результаті нашого аналізу ми маємо можливість отримати ймовірність як функцію досліджуваного параметра. Тепер ми можемо, наприклад, максимізувати цю функцію і знайти найбільш імовірне значення параметра, визначити межі відрізка, якому належатиме цей параметр з імовірністю 95%.