大数の法則・中心極限定理 | 確率・統計
母集団と標本：平均・分散の用語整理
大数の法則・中心極限定理の前提として、母集団 と 標本 それぞれの平均・分散を混同しないことが重要です。標本分散 と 標本平均の分散 は全く別の概念です。
| 用語 | 記号 | 何についての値か | 性質 |
|---|---|---|---|
| 母平均 | $\mu$ | 母集団全体 | 固定値（未知の定数） |
| 母分散 | $\sigma^2$ | 母集団全体 | 固定値（未知の定数） |
| 標本平均 | $\bar X_n$ | $n$ 個のサンプルの平均 | 確率変数（サンプルを取るたびに値が変わる） |
| 標本分散（不偏分散） | $s^2$ | $n$ 個のサンプル自体のばらつき | 確率変数（$\sigma^2$ の推定値） |
| 標本平均の分散 | $\text{Var}(\bar X_n)$ | $\bar X_n$ という統計量自体のばらつき | $\sigma^2/n$（公式） |
なぜこの区別が重要か
\[s^2 = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)^2\]$n-1$ で割るのは不偏性のためで、詳細は t分布 を参照してください。
\[\text{Var}(\bar X_n) = \frac{\sigma^2}{n}\]導出は 分散・共分散 を参照してください。
注意：この式の $\sigma^2$ は未知である
上記の式に登場する $\sigma^2$ は 母分散（真の値）であり通常は未知です。この式は $\sigma^2$ が既知だと仮定した場合の理論上の関係式でありそのまま実務の計算に使えるわけではありません。
| 場面 | 何をしているか |
|---|---|
| 理論・導出 | $\sigma^2$ が既知だと仮定して標本平均のばらつくきを数学的に導く |
| 実務・データ分析 | $\sigma^2$ は未知なので手元のデータから計算した不偏分散 $s^2$ で代用する |
実務では $\sigma^2$ を $s^2$ で置き換えて計算します。
\[\widehat{\text{Var}}(\bar X_n) = \frac{s^2}{n}, \qquad s^2 = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)^2\]この $\sqrt{s^2/n} = s/\sqrt{n}$ を標準誤差（Standard Error）と呼び、実際の信頼区間や検定ではこちらを使います。
$\sigma$（既知）の代わりに $s$（推定値）を使うことで、統計量は厳密には正規分布に従わなくなります。この $s$ 自体の推定誤差という追加の不確実性を織り込んだ分布が t分布 です。
\[T = \frac{\bar X - \mu}{s/\sqrt{n}} \sim t_{n-1}\]混同しやすいポイント
- $s^2$ と $\text{Var}(\bar X_n)$ は
標本という言葉がつきますが対象がまったく異なる量です - $n$ を大きくしても $s^2$（データそのもののばらつき）はおおよそ $\sigma^2$ 付近で変わりませんが、$\text{Var}(\bar X_n)$（推定の不確かさ）は $n$ に反比例してどんどん小さくなります。この「$n$ を増やしても縮まらないもの」と「$n$ を増やすと縮むもの」の違いが、大数の法則・中心極限定理を理解する鍵になります。
サンプル数を増やすと何が起きるかを主張する2つの重要な定理、大数の法則と中心極限定理についてまとめます。
大数の法則（Law of Large Numbers, LLN）
サンプル数を増やせば増やすほど、標本平均 は 真の平均（期待値） に近づくという定理です。
具体例
コインを 10 回投げたときの表の割合は 0.3 や 0.8 などばらつきありますが、10,000 回投げれば割合はほぼ確実に0.5に近づきます。これが大数の法則です。
なぜ標本平均は真の平均に近づくのか（分散の観点から）
標本平均 $\bar X_n$ の分散は、$X_1,\dots,X_n$ が独立であることを使うと、
\[\text{Var}(\bar X_n) = \frac{\sigma^2}{n}\]と計算できます（$\sigma^2=\text{Var}(X)$）。$n\to\infty$ でこの分散は $0$ に近づくため、$\bar X_n$ の散らばりがどんどん潰れて $\mu$ という1点に収束していく、というのが大数の法則の直感的な仕組みです。この式の導出（独立性＝共分散0の性質を使った具体的な計算過程）は 分散・共分散 を参照してください。
ベルヌーイ分布 の最尤推定量 $\hat p = \frac{1}{n}\sum_{i=1}^n x_i$ が、$n$ を大きくすると真のパラメータ $p$ に近づいていくのもこの法則の一例です。
中心極限定理（Central Limit Theorem, CLT）
標本平均 の分布（ばらつき方）が、元のデータがどんな分布に従っていても、$n$ が大きくなるほど正規分布に近づくという定理です。一変量正規分布 で扱ったとおり、3 つの分布のレイヤ（ 1.母集団の分布、2. 1回のサンプリング、3. 標本平均の分布）のうち、3.が正規分布に近づく、というのが CLT の主張です。
大数の法則と中心極限定理の違い
標本平均 $\bar X_n$ を扱いますが注目している側面が異なります。
| 主張の対象 | 主張の内容 | |
|---|---|---|
| 大数の法則（ LLN ） | 標本平均という 1 つの値 | $n\to\infty$ で真の平均 $\mu$ に収束する（1点に近づく） |
| 中心極限定理（ CLT ） | 標本平均の分布（ばらつき方） | $n$ が大きいとき、繰り返し抽出した各標本 $(x_1,…,x_n)$ の標本平均 $\bar X_1, …, \bar X_m$ のばらつき方が正規分布の形に近づく |
イメージ
- LLN は $n$ を大きくすれば、標本平均は $\mu$ という 1点 に近づくという主張
- CLT は $n$ が十分大きいとき、標本平均が $\mu$ の周りでどれくらい・どんな形でばらつくかというばらつき方の形についての主張
LLN が 収束先 についての定理であるのに対して CLT はその収束の過程で生じるばらつきの分布というより詳しい情報を持った定理です。
数式で見る違い
LLN は点への収束：
\[\bar X_n \to \mu\]CLTは、標本平均を標準化した量が標準正規分布 $\mathcal{N}(0,1)$ に収束することを主張します。
\[\sqrt{n}\,\frac{\bar X_n - \mu}{\sigma} \;\xrightarrow{\ d\ }\; \mathcal{N}(0,1)\]$\xrightarrow{d}$ は 分布収束 を表す記号です。
この式は、$\bar X_n$ 自体のばらつき（分散）が $n\to\infty$ で $0$ に収束する（ LLN が主張する通り $\mu$ の 1 点に収束する）一方で、$\sqrt{n}$ 倍することでちょうど良い大きさに引き伸ばすと、その ばらつき方の形 が正規分布に収束する、ということを意味しています。
LLN と CLT の検証方法の違い
両者は主張の対象が異なるため、実際にシミュレーションなどで確認するときに必要な試行回数の考え方も異なります。ここではコインを $n$ 回投げるという一塊の実験全体を 1 セット と呼び $n$ 回の個々のコイントスと区別します。
| 主張の対象 | 確認に必要な手順 | |
|---|---|---|
| 大数の法則 | $\bar X_n$ という 1つの数値（平均についての定理） | $n$ が十分大きい 1セット を実行すれば、その1つの値 $\bar X_n$ が $\mu$ に近いことを確認できる |
| 中心極限定理 | $\bar X_n$（標準化後）の分布の形についての定理 | 分布（ヒストグラム）を描くには複数のサンプルが必要なので、1セット を何度も繰り返して、そのたびに得られる $\bar X_n$ を集めて初めて確認できる |
LLN は 1 点への収束を主張しているので、$n$ を十分大きく取った 1セット だけを実行すれば、その結果が $\mu$ に近いことを確認できます。一方で CLT は分布の形という、そもそも 1 つの値だけでは定義できない概念を主張しているため、同じ $n$ のセットを何度も繰り返し実行して標本平均のばらつき方の形を観察できます。
シミュレーションによる確認例
確率 $p=0.1$（表が出にくい偏ったコイン）について、各 $n$ ごとに $n$ 回コインを投げて標本平均を求めるというセットを20万回繰り返し得られた標準化量 $\sqrt{n}(\bar X_n-p)/\sigma$ の分布が、正規分布からどれだけズレているか（歪度・尖度。正規分布ならどちらも 0 ）を計測すると、以下のように $n$ を増やすほど正規分布に近づいていく様子が確認できます。
| $n$（ 1 セットあたりのコイントス回数） | 歪度 | 尖度 |
|---|---|---|
| 1 | 2.691（かなり歪んでいる） | 5.240 |
| 5 | 1.189 | 1.041 |
| 30 | 0.491 | 0.186 |
| 100 | 0.263 | 0.040 |
| 1000 | 0.082（ほぼ 0 ） | 0.021（ほぼ 0 ） |
$n=1$ のときはコイン1回の結果（ 0 か 1 ）を標準化しただけなので正規分布とはかけ離れた形をしています。$n$ を大きくするにつれて歪みが 0 に近づき、$n=1000$ ではほぼ正規分布と見分けがつかなくなります。この表の各行は、それぞれ $n$ を固定した 1 セットを 20 万回繰り返して得た分布から計算したものであり、1セット を 1 回実行しただけでは得られない情報です。
歪度・尖度 については以下の記事で分かりやすく解説されています。
https://bellcurve.jp/statistics/course/26306.html