大数の法則・中心極限定理
概要
最初に中心極限定理の重要性および実務における使用についてに概要をまとめます。
母分布の形状は不明だが、観測値としてサイズ $n$ の標本を得て、その標本平均 $\bar{x}$ を計算したとします。
1. 中心極限定理による信頼区間($\sigma$ が既知の場合)
標本平均 $\bar{X}_n$ は確率変数であり、母平均 $\mu$、母分散 $\sigma^2$(有限)の母分布に対して、中心極限定理により以下が成り立ちます。
\[\frac{\sqrt{n}\,(\bar{X}_n - \mu)}{\sigma} \xrightarrow{d} N(0,1) \quad (n \to \infty)\]NOTE
- $\bar{X}_n$ は標本サイズ $n$ の標本平均を表します。$n$ 番目の標本という意味ではありません。
$n$ が十分大きければ $\bar{X}_n$ は近似的に正規分布に従います。
この性質を使うと、手元の実現値 $\bar{x}$ の信頼性を評価でき 95% 信頼区間が得られます。
2. 実務での信頼区間（$\sigma$ が未知の場合）
実際には母分散 $\sigma^2$ は分かりません。標本から計算した不偏分散で代用します。
\[s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2\]統計量は以下の式で定義されます。
\[T = \frac{\bar{X}_n - \mu}{s/\sqrt{n}}\]母集団が正規分布なら $T$ は自由度 $n-1$ の t 分布 $t_{n-1}$ に厳密にしたがいます。
母分布が不明な場合は、中心極限定理とスルツキーの定理により $T$ は $n$ が大きいとき近似的に標準正規分布に従い、t 分布による近似はその小標本での安全側の補正として使わます。
母分散が分からない以上、実務では $s^2$ と t 分布を用います。
このとき 95% 信頼区間は、1.96 を t 分布の上側 2.5% 点 $t_{0.025,\,n-1}$ に置き換えると以下のようになります。
\[\mu \in \left[\bar{x} - t_{0.025,\,n-1}\frac{s}{\sqrt{n}},\ \bar{x} + t_{0.025,\,n-1}\frac{s}{\sqrt{n}}\right]\]$t_{0.025,\,n-1}$ は $1.96$ より大きく(例:$n=10$ で約 2.262)、区間は $\sigma$ を推定する不確実性の分だけ広くなります。
$n$ が大きくなれば $t_{0.025,\,n-1} \to 1.96$ となり、1 の式に一致する。
この場合の t 分布の形状は、自由度 $n-1$ のみで決まります。 $\mu$、$\sigma$ や観測値（$\bar{x}$、$s$）には依存しないため、$t_{0.025,\,n-1}$ は標本サイズ $n$ を決めれば一意に定まる定数（t 分布表の値）です。
用語整理
大数の法則・中心極限定理では用語を混同しないことが重要です。
例えば、標本分散 と 標本平均の分散 は全く別の概念です。
| 用語 | 記号 | 何についての値か | 性質 |
|---|---|---|---|
| 母平均 | $\mu$ | 母集団全体 | 固定値（真のばらつき だが未知の定数） |
| 母分散 | $\sigma^2$ | 母集団全体 | 固定値（未知の定数） |
| 標本平均 | $\bar X$ | サイズ $n$ の標本の平均 | 確率変数（サンプルを取るたびに値が変わる） |
| 標本分散（不偏分散） | $s^2$ | サイズ n の標本のデータのばらつき（$\sigma^2$ の推定値） | 確率変数（$\sigma^2$ の推定値） |
| 標本平均の分散 | $\text{Var}(\bar X)$ | $\bar X$ という統計量のばらつき | $\sigma^2/n$（公式） |
NOTE
$n$ は標本サイズであり、大数の法則も中心極限定理も標本を取り出す回数についてはなにも言っていません（ $n$ はあくまでも標本サイズの大きさです）。
大数の法則を確認するための標本を何度か取り出す行為は大数の法則の定義とは無関係です。
| 記号 | 意味 |
|---|---|
| $X$ | （大文字）確率変数 |
| $x$ | （小文字）実現値 |
標本分散（$s^2$）と標本平均の分散（$\text{Var}(\bar X)$）
$n$ を大きくしても標本分散 $s^2$（データそのもののばらつき）は $\sigma^2$ 付近で変わりませんが、標本平均の分散 $\text{Var}(\bar X)$は $n$ に反比例して小さくなります。
$n$ を増やしても縮まらない標本分散と $n$ を増やすと縮む標本平均の分散の違いが、大数の法則・中心極限定理を理解する鍵になります。
大数の法則（Law of Large Numbers, LLN）
標本サイズ $n$ が大きくなるほど、標本平均（$\bar X$） は 母平均 （$\mu$） に近づくという定理です。
NOTE
$n$ は標本サイズであり、大数の法則も中心極限定理も標本を取り出す回数についてはなにも言っていません（ $n$ はあくまでも標本サイズの大きさです）。
大数の法則を確認するための標本を何度か取り出す行為は大数の法則の定義とは無関係です。
具体例
コインを 10 回投げたときの表の割合は 0.3 や 0.8 などばらつきありますが、10,000 回投げれば割合はほぼ確実に0.5に近づきます。これが大数の法則です。
標本平均が母平均に近づく理由（分散の観点から）
\[\text{Var}(\bar X) = \frac{\sigma^2}{n}\]$n\to\infty$ でこの分散は $0$ に近づくため、$\bar X$ の散らばりがどんどん潰れて $\mu$ という1点に収束します。この式の導出（独立性＝共分散0の性質を使った具体的な計算過程）は 分散・共分散 を参照してください。
ベルヌーイ分布 の最尤推定量 $\hat p = \frac{1}{n}\sum_{i=1}^n x_i$ が、$n$ を大きくすると真のパラメータ $p$ に近づいていくのもこの法則の一例です。
中心極限定理(Central Limit Theorem, CLT)
元のデータがどんな分布に従っていても(分散が有限であれば)、標準化した標本平均の分布は、標本サイズ $n$ が大きくなるにつれて標準正規分布 $N(0,1)$ に近づく、という定理です。
\[\begin{gathered} X_1, X_2, \dots, X_n \ \text{が独立同分布で、平均 } \mu,\ \text{分散 } \sigma^2 \in (0,\infty) \text{ を持つとき、} \\ \bar{X}_n = \frac{1}{n}\sum_{i=1}^{n} X_i \ \text{とおくと、} \\ \frac{\sqrt{n}\,(\bar{X}_n - \mu)}{\sigma} \xrightarrow{d} N(0,1) \quad (n \to \infty) \end{gathered}\]NOTE
上記の式は以下のように定義されることもあります。
\[\sqrt{n}\,(\bar{X}_n - \mu) \xrightarrow{d} \sigma \cdot N(0,1) = N(0, \sigma^2)\]また、確率変数を定数倍すると分散は定数の二乗倍になります。
\[Z \sim N(0,1) \ \Rightarrow\ \sigma Z \sim N(0, \sigma^2)\]LLN と CLT の検証方法の違い
両者は主張の対象が異なるため、実際にシミュレーションなどで確認するときに必要な試行回数の考え方も異なります。ここではコインを $n$ 回投げるという一塊の実験全体を 1 セット と呼びます（つまり 1 セット $=$ 標本）。
| 主張の対象 | 確認に必要な手順 | |
|---|---|---|
| 大数の法則 | $\bar X_n$ という 1つの数値（平均についての定理） | $n$ が十分大きい 1セット を実行すれば、その1つの値 $\bar X_n$ が $\mu$ に近いことを確認できる |
| 中心極限定理 | $\bar X_n$（標準化後）の分布の形についての定理 | 分布（ヒストグラム）を描くには複数のサンプルが必要なので、1セット を何度も繰り返して、そのたびに得られる $\bar X_n$ を集めて初めて確認できる |
LLN は 1 点への収束を主張しているので、$n$ を十分大きく取った 1セット だけを実行すれば、その結果が $\mu$ に近いことを確認できます。一方で CLT は分布の形という、そもそも 1 つの値だけでは定義できない概念を主張しているため、同じ $n$ のセットを何度も繰り返し実行して標本平均のばらつき方の形を観察できます。
シミュレーションによる確認例
確率 $p=0.1$（表が出にくい偏ったコイン）について、各 $n$ ごとに $n$ 回コインを投げて標本平均を求めるというセットを20万回繰り返し得られた標準化量 $\sqrt{n}(\bar X_n-p)/\sigma$ の分布が、正規分布からどれだけズレているか（歪度・尖度。正規分布ならどちらも 0 ）を計測すると、以下のように $n$ を増やすほど正規分布に近づいていく様子が確認できます。
| $n$（ 1 セットあたりのコイントス回数） | 歪度 | 尖度 |
|---|---|---|
| 1 | 2.691（かなり歪んでいる） | 5.240 |
| 5 | 1.189 | 1.041 |
| 30 | 0.491 | 0.186 |
| 100 | 0.263 | 0.040 |
| 1000 | 0.082（ほぼ 0 ） | 0.021（ほぼ 0 ） |
$n=1$ のときはコイン1回の結果（ 0 か 1 ）を標準化しただけなので正規分布とはかけ離れた形をしています。$n$ を大きくするにつれて歪みが 0 に近づき、$n=1000$ ではほぼ正規分布と見分けがつかなくなります。この表の各行は、それぞれ $n$ を固定した 1 セットを 20 万回繰り返して得た分布から計算したものであり、1セット を 1 回実行しただけでは得られない情報です。
歪度・尖度 については以下の記事で分かりやすく解説されています。
https://bellcurve.jp/statistics/course/26306.html
なぜ重要か
不確実性の幅（エラーバー）が計算できる
真の値は分からなくても、手元のサンプルから求めた平均が真の値からどれくらいズレうるかを、正規分布を使って定量的に評価できる（信頼区間、仮説検定の基礎）
CLT により、$\bar{X}_n$ は「$\mu$ を中心に、標準偏差 $\sigma/\sqrt{n}$ の正規分布」にほぼ従うと分かります。正規分布なら、「中心から $\pm 2$ 標準偏差の範囲に約 95% が入る」という性質が使えます。
\[P\left(|\bar{X}_n - \mu| \le 1.96\,\frac{\sigma}{\sqrt{n}}\right) \approx 0.95\]これを変形すると、
\[\mu \in \left[\bar{x} - 1.96\frac{\sigma}{\sqrt{n}},\ \bar{x} + 1.96\frac{\sigma}{\sqrt{n}}\right] \quad (\text{95\%信頼区間})\]例: 100人に身長を測り、平均 170 cm、標準偏差 10 cm だったとします。$\sigma/\sqrt{n} = 10/10 = 1$ cm なので、95% 信頼区間はおよそ $170 \pm 2$ cm です。
元の身長の分布が正規分布でなくてもこの計算が使えます。CLT が「平均の分布」を正規分布にしてくれるからです。
また、誤差が $1/\sqrt{n}$ で小さくなるので、「ズレを半分にしたければデータは4倍必要」ということも分かります。
仮説検定も同じ発想です。「もし差がなかったら、標本平均の差は正規分布でこの程度ばらつくはず。実際の差はそこから大きく外れているか?」を調べています。
機械学習のノイズの前提
線形回帰などで誤差（ノイズ）は正規分布に従うと仮定することが多いのは、誤差が無数の小さな要因の足し合わせ（平均化）とみなせ、CLT により正規分布に従うと仮定してよい、という理論的裏付けがあるためです。
線形回帰では、よく次のようにモデルを置きます。
\[y = w^\top x + \varepsilon, \qquad \varepsilon \sim N(0, \sigma^2)\]なぜ誤差 $\varepsilon$ は正規分布なのか
現実の誤差は、測定機器の揺らぎ、環境の微小な変動、モデルに入れていない細かい要因など、たくさんの小さな独立した要因の足し合わせでできています。
\[\varepsilon = \varepsilon_1 + \varepsilon_2 + \cdots + \varepsilon_m\]中心極限定理(CLT)によれば、こうした足し合わせは個々の要因の分布によらず正規分布に近づきます。
CLT は本来、独立な確率変数の和について述べる定理です。
標本平均はその特別な場合(和を $n$ で割ったもの)にすぎません。
標本平均の CLT との対応関係
$\varepsilon_k$ は「小さな要因 1 つ分の寄与」で、観測値 1 個に相当する役割です。
| 標本平均の CLT | ノイズの議論 |
|---|---|
| 個々のデータ $X_i$ | 小さな要因 1 つ分の寄与 $\varepsilon_k$ |
| 和 $\sum X_i$ または平均 $\bar{X}_n$ | 誤差全体 $\varepsilon = \sum \varepsilon_k$ |
| $n$ 個 | 要因の数 $m$ 個 |
繰り返しになりますが CLT は本来、独立な確率変数の和について述べる定理であり、標本平均 はその特別な場合(和を $n$ で割ったもの)にすぎません。
という形で、和そのものに対して CLT が使えます。$n$ で割るかどうかは、スケールの違いだけです。
補足
- 平均化というより、厳密には
足し合わせが本質です。平均は和を定数で割っただけなので、正規分布に近づくという結論は変わりません - 各 $\varepsilon_k$ は同分布である必要はありません。独立で、どれか 1 つが支配的に大きくないという条件があれば、リンデベルグの CLT などの一般化された CLT で同様の結論になります
- 各 $\varepsilon_k$ 自体は正規分布でなくて構いません(一様分布でも、偏った分布でも可)。足し合わせた結果が正規分布に近づく、というのがポイントです
未知数 $\sigma^2$ と t分布
$\sigma^2$ は 母分散（真の値）であり通常は未知です。この式は $\sigma^2$ が既知だと仮定した場合の理論上の関係式です。
| 場面 | 何をしているか |
|---|---|
| 理論・導出 | $\sigma^2$ が既知だと仮定して標本平均のばらつくきを数学的に導く |
| 実務・データ分析 | $\sigma^2$ は未知なので手元の標本から計算した不偏分散 $s^2$ で代用する |
実務では $\sigma^2$ を $s^2$ で置き換えて計算します。
\[\widehat{\text{Var}}(\bar X_n) = \frac{s^2}{n}, \qquad s^2 = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)^2\]この $\sqrt{s^2/n} = s/\sqrt{n}$ を標準誤差（Standard Error）と呼び、実際の信頼区間や検定ではこちらを使います。
$\sigma$（既知）の代わりに $s$（推定値）を使うことで、統計量は厳密には正規分布に従わなくなります。この $s$ 自体の推定誤差という追加の不確実性を織り込んだ分布が t分布 です。
\[T = \frac{\bar X - \mu}{s/\sqrt{n}} \sim t_{n-1}\]