エントロピー（平均情報量）の定義

情報理論のエントロピー（Entropy）は、ある確率システム全体における「不確実性」や「予測のつかなさ」を定量化した尺度であり、別名を平均情報量と呼びます。

個別の事象が持つ情報量の単なる一過性の値ではなく、システム全体で得られる情報量の期待値（確率論的な平均値）として定義されます。

確率変数 $X$ が取る値（各事象）を $A_1, A_2, \dots, A_n$ とし、それぞれの生起確率を $P(A_i)$ とするとき、エントロピー $H(X)$ は以下の式で定義されます。

\[H(X) = \sum_{i=1}^{n} P(A_i) \cdot I(A_i) = -\sum_{i=1}^{n} P(A_i) \log_2 P(A_i)\]

エントロピーは、各事象の生起確率 $P(A_i)$ に対し、その事象が固有に持つ情報量 $I(A_i)$ を乗算し、すべての事象についての総和を算出します。　　 これは情報量の期待値の計算になります。

具体例による解釈

  1. エントロピーが最大となる状態（完全な不確実性）
    • 状況: すべての事象の生起確率が完全に均等である状態（例：歪みのないサイコロを振る）
    • 解釈: 事前にどの事象が起こるか全く予測が立たないため、システム全体の不確実性は最大化します。このとき、試行によって得られる「平均的な驚きの大きさ（平均情報量）」も最大になります
  2. エントロピーが最小（ゼロ）に近づく状態（高い確実性）
    • 状況: 特定の1つの事象の生起確率が極めて高く（例：$99.9\%$）、他の事象がほぼ起こらない状態
      • $P(A_i) = 1 \Rightarrow I(A_i) = -\log_2 P(A_i) = 0$ （確実に起きる事象の情報量は 0 ）に注意
    • 解釈: 事前の予測がほぼ確実であるため、システム全体の不確実性は極めて低くなります。実際に事象が確定しても、大半は「予測通りの結果」となるため、得られる平均情報量はほぼゼロに収束します。

情報量との対比

  • 情報量（$I(A)$）: 事象が確定した後に、その特定の 1 点から得られる個別の起こりにくさの大きさで事後的な尺度
  • エントロピー（$H(X)$）: 事象が確定する前に、そのシステム全体が内包している「予測のつかなさの平均見込み」で事前的な尺度

エントロピーは、Deep Learning における分類問題や大規模言語モデル（LLM）の最適化で用いられる「クロスエントロピー損失」の理論的基盤となっています。