分散

分散は、確率変数 $X$ の期待値（平均）$\mu=E[X]$ からのばらつきを表す指標です。

\[\text{Var}(X) = E\left[(X-\mu)^2\right] = \sum_x (x-\mu)^2\,p(x) \quad \text{（離散確率変数）}\]

符号を消すために差を 2 乗してから平均を取ります。平方根を取った $\sigma=\sqrt{\text{Var}(X)}$ が標準偏差で、一変量正規分布 では $\mu\pm1\sigma$ に約68.3%、$\mu\pm2\sigma$ に約95.4%のデータが収まる、という性質がありました。

共分散（Covariance）

分散が 1 つの変数 $X$ のばらつきを測るのに対し、共分散は 2 つの変数 $X,Y$ が一緒にどう動くかを測る指標です。

\[\text{Cov}(X,Y) = E\left[(X-\mu_X)(Y-\mu_Y)\right]\]

直感的な意味

  • $X$ が平均より大きいとき $Y$ も平均より大きい傾向 → $(X-\mu_X)$ と $(Y-\mu_Y)$ が同符号 → 積がプラス → 正の共分散（一緒に増減する）
  • $X$ が平均より大きいとき $Y$ は平均より小さい傾向 → 積がマイナス → 負の共分散（逆に動く）
  • $X$ と $Y$ に直線的な関係がない → プラスとマイナスが打ち消し合う → 共分散はおよそ 0

具体例

身長が高い人ほど体重も重い傾向があるというデータなら $\text{Cov}(\text{身長},\text{体重})>0$ になります。

分散との関係

\[\text{Cov}(X,X) = E\left[(X-\mu_X)(X-\mu_X)\right] = E\left[(X-\mu_X)^2\right] = \text{Var}(X)\]

分散は 自分自身との共分散 です。この性質が後述する共分散行列の対角成分の意味づけになります。

注意点：共分散 $0 \ne 独立$

$\text{Cov}(X,Y)=0$ は 直線的な関係がない ことを意味しますが、$X,Y$ が独立であることまでは意味しません（例：$Y=X^2$ のような非線形な関係があっても共分散は 0 になることがあります）。逆に独立ならば共分散は必ず 0 は成り立ちます。

相関係数

共分散の値は $X,Y$ の単位（cm や kg など）に依存してしまい、大きさの解釈がしにくいという欠点があります。そこで、それぞれの標準偏差で割って $-1$〜$1$ に正規化したものが相関係数です。

\[\rho(X,Y) = \frac{\text{Cov}(X,Y)}{\sigma_X\,\sigma_Y}\]

$\rho=1$ で完全な正の直線関係、$\rho=-1$ で完全な負の直線関係、$\rho=0$ で直線的な関係なし、と解釈します。

共分散行列（Covariance Matrix）— 多変量への拡張

複数の確率変数 $X_1,\dots,X_n$ をまとめてベクトル $\boldsymbol{X}=(X_1,\dots,X_n)$ として扱うとき、それぞれのペアの共分散を一覧表（行列）にまとめたものが共分散行列です。

\[\Sigma = \begin{pmatrix} \text{Var}(X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_n) \\ \text{Cov}(X_2,X_1) & \text{Var}(X_2) & \cdots & \text{Cov}(X_2,X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_n,X_1) & \text{Cov}(X_n,X_2) & \cdots & \text{Var}(X_n) \end{pmatrix}\]
  • 対角成分：各変数自身の分散（$\text{Cov}(X_i,X_i)=\text{Var}(X_i)$）
  • 非対角成分：変数同士の共分散
  • $\Sigma$ は対称行列（$\text{Cov}(X_i,X_j)=\text{Cov}(X_j,X_i)$）であり、半正定値行列でもある

イメージ（$n=2$ の場合）

\[\Sigma = \begin{pmatrix} \sigma_1^2 & \text{Cov}(X_1,X_2) \\ \text{Cov}(X_1,X_2) & \sigma_2^2 \end{pmatrix}\]
  • 非対角成分が0（$X_1,X_2$ が無相関）→ 軸に沿った円・楕円状の散らばり
  • 非対角成分が大きい（相関が強い）→ 斜めに傾いた楕円状の散らばり

この共分散行列は、多変量正規分布 のパラメータとしてそのまま使われます。

応用：独立性（共分散0）を使った標本平均の分散の導出

独立ならば共分散は 0 という性質は、大数の法則・中心極限定理 で登場する $\text{Var}(\bar X_n)=\sigma^2/n$ という式の導出に使われます。

$X_1,\dots,X_n$ を、平均 $\mu$・分散 $\sigma^2$ の同じ分布から独立に得られたサンプル（i.i.d.）とし、標本平均を $\bar X_n=\frac{1}{n}\sum_{i=1}^n X_i$ とします。

ステップ1：$\bar X_n-\mu$ を書き換える

$\mu = \frac{1}{n}\sum_{i=1}^n \mu$ を使うと、

\[\bar X_n - \mu = \frac{1}{n}\sum_{i=1}^n (X_i-\mu)\]

ステップ2：分散の定義に代入し、2乗を展開する

\[\text{Var}(\bar X_n) = E\left[(\bar X_n-\mu)^2\right] = \frac{1}{n^2}\,E\left[\left(\sum_{i=1}^n (X_i-\mu)\right)^2\right]\]

$\left(\sum_i a_i\right)^2$ を展開すると、「自分同士の項」と「異なる添字同士の項」に分かれます。

\[\left(\sum_{i=1}^n (X_i-\mu)\right)^2 = \sum_{i=1}^n (X_i-\mu)^2 \;+\; \sum_{i\neq j} (X_i-\mu)(X_j-\mu)\]

ステップ3：それぞれの期待値を計算する

  • 自分同士の項：$E[(X_i-\mu)^2] = \text{Var}(X_i) = \sigma^2$（分散の定義そのもの）。これが $n$ 個あるので合計 $n\sigma^2$
  • 異なる添字の項：$X_i,X_j$（$i\neq j$）は独立なので、
\[E\left[(X_i-\mu)(X_j-\mu)\right] = \text{Cov}(X_i,X_j) = 0\]

独立ならば共分散は0、という上述の性質がここで使われています。したがって「異なる添字同士の項」はすべて消えます。

ステップ4：まとめる

\[E\left[\left(\sum_{i=1}^n (X_i-\mu)\right)^2\right] = n\sigma^2 + 0 = n\sigma^2\] \[\text{Var}(\bar X_n) = \frac{1}{n^2}\times n\sigma^2 = \frac{\sigma^2}{n}\]

まとめ（導出の要点）

ステップ 使った性質
$\bar X_n-\mu=\frac{1}{n}\sum(X_i-\mu)$ 平均の線形性
2乗の展開 代数的な展開（$(\sum a_i)^2=\sum a_i^2+\sum_{i\neq j}a_ia_j$）
自分同士の項 → $\sigma^2$ 分散の定義 $\text{Var}(X_i)=E[(X_i-\mu)^2]$
異なる項 → $0$ 独立ならば共分散は0という性質
最終結果 $\text{Var}(\bar X_n)=\sigma^2/n$

つまり、標本平均の分散が $n$ に反比例して小さくなる（大数の法則の裏付け）のは、サンプル同士が独立であるために共分散の項がすべて0になって消えるからです。もしサンプル同士に正の相関があれば（独立でなければ）、共分散の項が消えずに残るため、$\text{Var}(\bar X_n)$ は $\sigma^2/n$ よりも大きくなります。

まとめ

統計量 対象 意味
分散 $\text{Var}(X)$ 1変数 $X$ 自身の散らばりの大きさ
共分散 $\text{Cov}(X,Y)$ 2変数 $X,Y$ が一緒にどう動くか（符号付き）
相関係数 $\rho(X,Y)$ 2変数 共分散を単位に依存しない形（$-1$〜$1$）に正規化したもの
共分散行列 $\Sigma$ $n$変数 全ペアの共分散をまとめた行列（対角成分＝分散）