一変量正規分布 を、複数の確率変数を同時に扱えるように拡張したものが多変量正規分布です。

パラメータ：平均ベクトルと共分散行列

一変量正規分布が平均 $\mu$ と分散 $\sigma^2$ の2つのパラメータで決まったのと同様に、多変量正規分布は平均ベクトル $\boldsymbol{\mu}$ と 共分散行列 $\Sigma$ の2つのパラメータで決まります。

\[\boldsymbol{X} \sim \mathcal{N}(\boldsymbol{\mu}, \Sigma)\]

確率密度関数

\[f(\boldsymbol{x}) = \frac{1}{(2\pi)^{n/2}\lvert\Sigma\rvert^{1/2}} \exp\left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^\top \Sigma^{-1} (\boldsymbol{x}-\boldsymbol{\mu})\right)\]
  • $n$：確率変数の次元数
  • $\lvert\Sigma\rvert$：共分散行列 $\Sigma$ の行列式
  • $\Sigma^{-1}$：共分散行列の逆行列（精度行列と呼ばれることもある）

一変量の式と比べると、$\sigma^2 \to \Sigma$（行列）、$(x-\mu)^2 \to (\boldsymbol{x}-\boldsymbol{\mu})^\top\Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu})$（2 次形式）に置き換わっています。

\[f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\]

直感的なイメージ（$n=2$ の場合）

2次元の場合、確率密度の等高線は円または楕円になります。

  • 共分散行列が単位行列に近い（対角成分だけで、非対角成分が 0）→ 軸に沿ったきれいな円形（または楕円形）の等高線
  • $X_1,X_2$ の相関が強い（非対角成分が大きい）→ 楕円が斜めに傾く

つまり、共分散行列 $\Sigma$ の形が山の断面（等高線）の形を決めています。

分散共分散行列 $\Sigma$ の制約

$\Sigma$ は以下の性質を満たす必要があります。

  • 対称行列：$\Sigma^\top = \Sigma$（$\text{Cov}(X_i,X_j)=\text{Cov}(X_j,X_i)$ より）
  • 半正定値行列：任意のベクトル $\boldsymbol{v}$ に対して $\boldsymbol{v}^\top\Sigma\boldsymbol{v}\ge0$

これは一変量正規分布の $\sigma^2 > 0$（分散が負にならない）という制約を、多次元に一般化したものにあたります。

独立な場合：対角共分散行列

$X_1,\dots,X_n$ が互いに独立であれば、共分散行列は対角行列になります。

\[\Sigma = \begin{pmatrix} \sigma_1^2 & 0 & \cdots & 0 \\ 0 & \sigma_2^2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma_n^2 \end{pmatrix}\]

このとき同時確率密度は、各次元の一変量正規分布の積に分解できます。

\[f(\boldsymbol{x}) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma_i^2}}\exp\left(-\frac{(x_i-\mu_i)^2}{2\sigma_i^2}\right)\]

これは 同時分布 における「独立ならば同時確率は周辺確率の積に分解できる」という一般的な性質の、正規分布における具体例です。

機械学習での位置づけ

多変量正規分布は、以下のような場面で前提として使われます。

  • 誤差項（ノイズ）を多次元の正規分布と仮定する回帰モデル
  • 混合ガウス分布（混合ガウス分布）の各成分分布
  • 変分オートエンコーダ（VAE）の潜在変数の事前分布・事後分布の近似