ベルヌーイ分布 のパラメータ $p$（成功確率）を確率変数とみなし、その不確実性を表現するための分布がベータ分布です。ベイズ確率 における事前分布・事後分布として使われる典型例になります。

ベルヌーイ分布とベータ分布の違い

  ベルヌーイ分布 ベータ分布
変数 $x$（観測値・結果） $p$（成功確率そのもの）
定義域 ${0,1}$（離散、2 値） $[0,1]$（連続）
分布の種類 確率質量関数（ PMF ） 確率密度関数（ PDF ）
パラメータ $p$（ 1 個、固定値とみなす） $\alpha,\beta$（ 2 個）
役割 データが従う分布 データが従う分布のパラメータ $p$ が従う（と仮定する）分布
  • ベルヌーイ分布：$p$ を既知の定数とみなし、ランダムなのは試行結果 $x\in{0,1}$
  • ベータ分布：$p$ 自身を確率変数とみなし、 $p$ はどのくらいの値がもっともらしいかという信念の濃淡を表す

確率密度関数

\[P(p) = \frac{1}{B(\alpha,\beta)}\,p^{\alpha-1}(1-p)^{\beta-1} \quad p\in[0,1]\]

$B(\alpha,\beta)$ は正規化定数（ベータ関数）で、積分して全体が 1 になるように調整する役割を持ちます。
$\alpha,\beta$ が山の形を決めるパラメータです。

パラメータの制約：$\alpha>0,\ \beta>0$

ベルヌーイ分布の $x\in{0,1}$ が定義域の制約であるのに対し、$\alpha,\beta$ の制約は分布として成立するための条件という性質の異なる制約です。

  制約の種類 意味
$x\in{0,1}$（ベルヌーイ） 定義域の制約 $x$ が取りうる値そのものが2つしかない（離散）
$\alpha>0,\ \beta>0$（ベータ） パラメータの制約 連続的にどんな正の実数でも良いが、負や 0 だと分布として破綻する

なぜ $\alpha\le0$ だと発散するか

$\alpha\le 0$ のとき、指数 $\alpha-1$ は必ず負の数になります。

\[p^{\alpha-1} = p^{-(1-\alpha)} = \frac{1}{p^{1-\alpha}} \qquad (1-\alpha>0)\]

指数が負というのは分母に $p$ がある状態と同じなので、$p\to0$ のとき分母がどんどん小さくなり、値は無限大に発散します。

例：$\alpha=0$（指数 $-1$、$p^{-1}=1/p$）のとき

$p$ $1/p$
0.1 10
0.01 100
0.001 1000
0.0001 10000

逆に $\alpha>1$ なら指数 $\alpha-1$ は正になるので、$p\to0$ のとき $p^{\alpha-1}\to0$ となり、問題なく積分できます。これが $\alpha,\beta>0$ が必要な理由です。

$\alpha,\beta$ の直感的な意味

$\alpha$ を 事前の（架空の）成功回数＋1 、$\beta$ を 事前の（架空の）失敗回数＋1 のようなイメージで捉えると、$\alpha,\beta>0$ という制約も自然に感じられます（回数が負や 0 未満になるのは意味をなさない、というイメージ）。

$\alpha=\beta=1$ のときは $P(p)\propto p^{0}(1-p)^{0}=1$ となり、$p\in[0,1]$ 上の一様分布（どの $p$ も同じくらいありそうという信念）になります。

ベルヌーイ分布 + ベータ事前分布 → 事後分布もベータ分布（共役事前分布）

$n$ 回のベルヌーイ試行のうち $x$ 回成功したとします。
尤度関数 は以下のとおりです。

\[L(p) = p^{x}(1-p)^{n-x}\]

事前分布を $\text{Beta}(\alpha,\beta)$ とすると、事後分布は $事前分布 \times 尤度$ に比例するので指数を足し算するだけです。

\[\underbrace{p^{\alpha-1}(1-p)^{\beta-1}}_{\text{事前分布}} \times \underbrace{p^{x}(1-p)^{n-x}}_{\text{尤度}} = p^{(\alpha-1)+x}(1-p)^{(\beta-1)+(n-x)}\]

これは $\text{Beta}(\alpha+x,\ \beta+(n-x))$ の形そのものです。
積分をして正規化定数を求めなくても、事後分布が分かります（共役事前分布の場合に計算が簡単な理由ト）。

\[\text{Beta}(\alpha,\beta) \;\xrightarrow{\ x\ 回成功,\ n-x\ 回失敗を観測\ }\; \text{Beta}(\alpha+x,\ \beta+(n-x))\]

直感：仮想的な観測回数の合体

$\alpha$ を「事前に（架空に）観測したと仮定する成功回数」、$x$ を「実際に観測した成功回数」と考えると、信念（事前）と証拠（データ）をただ足し合わせるだけの自然な更新になります。データが増えるほど $x,\,n-x$ が $\alpha,\beta$ に対して支配的になり、事前の主観の影響は薄れていきます。

\[\underbrace{\alpha}_{\text{事前の仮の成功回数}} + \underbrace{x}_{\text{実際の成功回数}} = \underbrace{\alpha+x}_{\text{更新後の総合成功回数}}\]

まとめ