t分布 | 確率・統計
一変量正規分布は、真の平均 $\mu$ と真の分散 $\sigma^2$ が分かっているという前提で考える分布です。実際の分析は、真の分散 $\sigma^2$ は分からず、手元のサンプルから推定した分散を使います(平均は真の平均(母平均)$\mu$ を仮定することに注意)。
この 分散も推定値である という不確実性を持つ分布が t分布(Student’s t-distribution)です。
t分布が必要になる理由
母平均 $\mu$、母分散 $\sigma^2$ の正規分布から $n$ 個のサンプルを取り、標本平均 $\bar X$ を計算したとします。
※ サンプルは母平均 $\mu$、母分散 $\sigma^2$ の 正規分布 から抽出することを仮定しています(正規分布という点が重要です)。
もし真の分散 $\sigma^2$ が既知なら、以下の統計量は厳密に標準正規分布 $\mathcal{N}(0,1)$ に従います。
\[Z = \frac{\bar X - \mu}{\sigma/\sqrt{n}} \sim \mathcal{N}(0,1) \qquad \text{Var}(\bar X_n) = \frac{\sigma^2}{n}\ \text{標本平均の分散}\]しかし実際には $\sigma^2$ は未知なので、標本から計算した不偏分散 $s^2$ で代用します。
\[s^2 = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)^2\]このとき、$\sigma$ の代わりに $s$ を使った統計量は正規分布には従いません。
$s$ 自体もサンプルによって変わる推定値だからです。
この $T$ が従う分布が t分布です。
\[T = \frac{\bar X - \mu}{s/\sqrt{n}}\] \[T \sim t_{\nu}, \quad \nu = n-1 \ (\text{自由度})\]自由度( degrees of freedom )とパラメータ
t分布のパラメータは自由度 $\nu$ の 1 つだけです(正規分布のように平均・分散を自由に指定するものではなく、標準正規分布を補正するパラメータです)。
\[f(t) = \frac{\Gamma\left(\frac{\nu+1}{2}\right)}{\sqrt{\nu\pi}\,\Gamma\left(\frac{\nu}{2}\right)}\left(1+\frac{t^2}{\nu}\right)^{-\frac{\nu+1}{2}}\]$\Gamma$ はガンマ関数。式の詳細よりも、以下の形状の性質の方が重要です。
正規分布との比較
- 形は正規分布と同じく 0 を中心に左右対称の釣鐘型
- 正規分布より
裾が厚い(極端な値がより起こりやすい)。これは、分散を $s^2$ という推定値で代用したことによる追加の不確実性を反映しているため - 自由度 $\nu$ が小さいほど裾が厚く、$\nu\to\infty$ の極限で t分布は標準正規分布に一致する
| $\nu$(サンプルサイズ) | 裾の厚さ | 正規分布との近さ |
|---|---|---|
| 小さい(例:$\nu=5$ ) | 厚い | 大きく異なる |
| 大きい(例:$\nu=100$ ) | 薄い | ほぼ一致 |
サンプルサイズが小さいときほど分散の推定自体が不確かであるという影響が大きく出るため、裾が厚くなる、と考えると直感的です。
- 中心部($x=0$ 付近):3 本の曲線はほぼ重なっており、山の高さもそこまで変わりません。
- 裾($\lvert x \rvert$ が大きい領域):赤の t 分布($\nu=5$)は、灰色の正規分布よりも明らかに浮いて(高く)残っています。これが
裾が厚いの視覚的な意味です。極端な値が正規分布よりも起こりやすいことを表しています。 - 青の t 分布( $\nu=100$ )は破線にしていますが、灰色の正規分布とほとんど重なって見分けがつきません。自由度が大きくなるほど標準正規分布に収束するという性質を確認できます。
つまり自由度 $\nu$ が小さいほど山は正規分布と似ているのに裾だけ持ち上がるという、$s^2$(分散の推定値)に含まれる余分な不確実性を裾の厚さとして織り込んだ形になっています。
使われる場面
- 平均の信頼区間・仮説検定(t検定):母分散が未知で、サンプルサイズが小さいときに、正規分布の代わりに使う
- ロバスト回帰:正規分布より裾が厚いため、外れ値の影響を受けにくいノイズモデルとして使われることがある
- 深層学習の文脈では出現頻度は高くありませんが、統計的推測(検定・信頼区間)の基礎として押さえておくべき分布です
まとめ
| 正規分布 | t分布 | |
|---|---|---|
| 前提 | 分散 $\sigma^2$ が既知 | 分散を標本から推定( $s^2$ で代用) |
| パラメータ | 平均 $\mu$、分散 $\sigma^2$ | 自由度 $\nu$(形状のみ) |
| 裾の厚さ | 標準的 | 正規分布より厚い($\nu$が小さいほど顕著) |
| $\nu\to\infty$ の極限 | — | 標準正規分布に一致 |