本記事はベクトルは太字（$\boldsymbol{x}$）、スカラーは細字（$x$）を使用します。

コイン投げ( 2 つの結果)を一般化して、K 個の結果がある 1 回の試行を考えます。
例えば、サイコロを 1 回振る、赤・青・緑のボールから 1 つ引く、といった状況です。

前提条件

  • M：確率変数の次元数
  • $\boldsymbol{x}$：one-hot ベクトル $\left(x_1, \ldots, x_M \right)$
    • $x_j$ ： 観測値がカテゴリ $j$ に属する場合 $1$、そうでなければ$0$
  • $\boldsymbol{p}$：$\left( p_1, \ldots, p_{M} \right)$：確率分布
    • $p_j$ ： 各要素 $j$ の確率

確率分布

\[\begin{aligned} p(\boldsymbol{x}) = \prod_{j=1}^{M} p_j^{x_j} \end{aligned}\]

$x_j$ は(観測値が)カテゴリ $j$ に属する場合 $1$、そうでなければ $0$ です。

具体例

  • $\boldsymbol{p}$：$\left( p_1, p_2, p_3, p_4, p_5, p_6 \right)$
  • $\boldsymbol{x} = \left(0, 0, 1, 0, 0, 0 \right) $： 3 番目のカテゴリ（$j=3$）に属する場合
\[\begin{aligned} \prod_{j=1}^{M} p_j^{x_j} &= p_{1}^0 \times p_{2}^0 \times p_{3}^1 \times p_{4}^0 \times p_{5}^0 \times p_{6}^0 \\ &= 1 \times 1 \times p_3 \times 1 \times 1 \times 1 \\ &= p_3 \end{aligned}\]

具体的に以下のカテゴリカル分布について考えます。

\[\boldsymbol{p} = \begin{pmatrix} p_1 \\ p_2 \\ p_3 \\ p_4 \\ p_5 \\ p_6 \end{pmatrix} = \begin{pmatrix} 0 \\ 1/10 \\ 6/10 \\ 1/10 \\ 1/10 \\ 1/10 \end{pmatrix} \quad , \quad \boldsymbol{x} = \begin{pmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \\ x_5 \\ x_6 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{pmatrix}\]

例えば $j = 3$ の場合、$p_3 = 0.6$ になります。

\[p(\boldsymbol{x}) = 0^0 \times (0.1)^0 \times (0.6)^1 \times (0.1)^0 \times (0.1)^0 \times (0.1)^0 = 0.6\]

（$p_1=0$ かつ $x_1=0$ のとき $0^0$ という不定形が現れますが、ここでは慣習に従い $0^0=1$ として計算しています。）

最尤推定法

最尤推定法 を参照してください。カテゴリカル分布では、パラメータ $\theta$ はパラメータベクトル $\boldsymbol{p}=(p_1,\dots,p_M)$ に対応します。