同時分布 | 確率・統計
同時分布
複数の確率変数が同時に特定の値をとる確率を表す分布を同時（確率）分布と呼びます（結合（確率）分布とも呼ばれる）。
天気と傘の同時分布
| 傘を持つ | 傘を持たない | 周辺確率 | |
|---|---|---|---|
| 晴れ | 0.1 | 0.4 | 0.5 |
| 雨 | 0.4 | 0.1 | 0.5 |
| 周辺確率 | 0.5 | 0.5 |
天気（$X$）と傘の持参（$Y$）は独立ではありません。
独立であれば 晴れ×傘を持つ = 0.5×0.5 = 0.25 になりますが、実際は 0.1 です。
周辺確率
同時分布 $p(X, Y)$ があり、そこから周辺分布を得ます。
\[\begin{aligned} p(X) = p_{X}(x) = \sum_y p(x, y) \\ p(Y) = p_{Y}(y) = \sum_x p(x, y) \end{aligned}\]同じ文字 $p$ を引数や添字で区別して書くのが標準的な慣習です。
- $p(X)$, $p(Y)$：引数（確率変数名）で区別します。同じ確率分布 $p$ の下での、それぞれの周辺分布という意味になります
- $p_{X}(x)$, $p_{Y}(y)$：添字で明示的に区別します。$X$ と $Y$ が同じ確率空間上の確率変数であることを強調したいときに使います
同時確率
確率変数 $X_1,\dots,X_n$ の同時確率は以下の式で定義されます。以下、簡単のため $x = (x_1,\dots,x_n)$ と略記します。
\[p(x) := p(x_1,\dots,x_n)\]同時確率は、確率の公理から導かれる連鎖律（chain rule）によって以下の形に分解できます。
\[p(x_1,\dots,x_n) = p(x_1)\,p(x_2\vert x_1)\,p(x_3\vert x_1,x_2)\cdots p(x_n\vert x_1,\dots,x_{n-1}) = \prod_{i=1}^{n} p(x_i\vert x_{<i})\]i.i.d. を仮定しない定義
上記の連鎖律の式は、もともと i.i.d. を仮定せずに常に成り立つ恒等式です。ここでは各ステップの条件付き分布が異なりうることを明示するため、$p(x_i\vert{}x_{
\[p(x) := \prod_{i=1}^n p_i(x_i\vert x_{<i})\]i.i.d. を前提にした定義（特殊ケース）
$x_1,\dots,x_n$ が独立に同一の分布 $p$ から生成されたと仮定すると、連鎖律が単一の関数 $p$ の積に単純化されて定義は以下になります。
\[p(x) = \prod_{i=1}^{n} p(x_i) \quad p(x_i\vert x_{<i}) = p(x_i)\]