事象 $Y$ が起きたという条件のもとで事象 $X$ が起こる確率 $P(X\vert{}Y)$ は以下の式で定義します。

\[\begin{aligned} P(X\vert{}Y) := \frac{P(X, Y)}{P(Y)} \quad (P(Y)>0) \end{aligned}\]

条件付き確率 $P(X\vert{}Y) = \frac{P(X, Y)}{P(Y)}$ は同時分布 $P(X, Y=y)$ を、$X$ に関して和（または積分）が 1 になるように、定数 $P(Y=y)$ で割って正規化したものと考えられます。

簡単な例

  $Y$ $\bar{Y}$  
$X$ 0.1 0.4 0.5
$\bar{X}$ 0.3 0.2 0.5
  0.4 0.6  
\[\begin{aligned} P(X\vert{}Y) = \frac{P(X,Y)}{P(Y)} = \frac{0.1}{0.4} = 0.25 \quad \text{条件付き確率} \\ P(Y) = P(X,Y) + P(\bar{X},Y) = 0.1 + 0.3 = 0.4 \quad \text{Yの周辺確率} \\ P(X,Y) = P(X\vert{}Y)\, P(Y) = 0.25 \times 0.4 = 0.1 \quad \text{同時確率} \end{aligned}\]

条件付き確率分布

$Y$ を固定して $X$ が取りうる値すべてについて並べたものが条件付き確率分布です。以降は、$X,Y$ が取りうる値全体についての分布を考えるため、事象の確率を表す大文字 $P$ ではなく、確率変数がとる値についての分布を表す小文字 $p(x\vert{}y)$ で表記します。

ベイズの定理

条件付き確率の定義より、同時確率は次の2通りに書けます。

\[p(x,y) = p(x\vert{}y)\,p(y) = p(y\vert{}x)\,p(x)\]

この2つの右辺を $p(x)$ で結び直すと、以下のベイズの定理が導かれます。

\[p(y\vert{}x) = \frac{p(x\vert{}y)\, p(y)}{p(x)}\]

上記より、$p(x\vert{}y)$、$p(y)$ をそれぞれモデル化して解きます。
分母 $p(x)$ は $y$ に依存しない定数とみなせるため、事後分布は次のように比例関係で書けます。

\[p(y\vert{}x) \propto p(x\vert{}y)\, p(y)\]

また、事後確率を最大化する $y$（MAP推定）を求めたい場合は次のようになります（MAP推定の詳細は後述）。

\[\hat{y} = \underset{y}{\arg\max}\; p(x\vert{}y)\, p(y)\]

用語

条件付き確率の用語についてまとめます。

記号 名称 意味
$p(y)$ 事前分布 (prior) $y$ について観測前に持っている確率分布
$p(x\vert{}y)$ 尤度 (likelihood) $y$ が与えられたときの $x$ の分布
$p(y\vert{}x)$ 事後確率 (posterior) $x$ を観測した後の $y$ に対する信念
$p(x)$ 周辺尤度 (marginal likelihood)、エビデンス (evidence) $y$ を周辺化して得られる $x$ の分布（規格化定数）

MLE（最尤推定）とMAP推定の違い

ここでは推定対象のパラメータを $y$ と表記します。
$p(x\vert y)$ 自体は 尤度 であり、これを $y$ の関数として最大化する手続きが最尤推定 (Maximum Likelihood Estimation, MLE)です。

\[\hat{y}_{MLE} = \underset{y}{\arg\max}\; p(x\vert y)\]

一方、MAP推定は尤度に事前分布 $p(y)$ をかけたものを最大化します。これは前述のベイズの定理で見たとおり、$p(x)$ が $y$ に依存しない定数であることから、事後分布 $p(y\vert x)$ を最大化することと $p(x\vert y)\,p(y)$ を最大化することが同じになることに由来します（導出は「ベイズの定理」の節を参照）。

\[\hat{y}_{MAP} = \underset{y}{\arg\max}\; p(x\vert y)\, p(y) = \underset{y}{\arg\max}\; p(y\vert x)\]
  最大化する対象 事前分布 $p(y)$
MLE $p(x\vert y)$ 使わない
MAP $p(x\vert y)\,p(y)$ 使う

事前分布 $p(y)$ が（有界な範囲での）一様分布であれば $p(y)$ は $y$ に依存しない定数となり、MAP推定は MLE と一致します（$y$ が非有界な連続値をとる場合、真に一様な分布は積分すると発散してしまい確率分布として成立しない点に注意が必要です）。つまり MAP は、MLE に $y$ の事前分布(観測前の確信の度合い)を通じて事前知識を反映させたものと捉えられます。