情報理論の情報量（Information Content）は事象が発生した際に、その事象の「不確実性」や「予測のつかなさ」を定量化した尺度です。
情報量は以下の性質を満たします。

  • 確率 $P(A)$ の単調減少関数である（起こりにくい出来事ほど情報量は大きくなる）
  • 確率が $1$（100% 確実に起こる）のときは情報量は $0$ になる
  • $P(A \cap B) = P(A)P(B)$ を和で表す（独立事象の加法性）

出来事 $A$ が起きる確率を $P(A)$ とすると、情報量 $I(A)$ は以下の式で定義されます（2 を底とする負の対数関数）。

\[I(A) = -\log_2 P(A) \quad A \in \mathcal{X} \ (\text{ただし } P(A) > 0)\]

底に 2 を使うのは、2 分の 1（2択）を基準（ 1 ビット）にするからです。

  • 負の対数関数の性質より $P(A)$ は単調減少関数
  • 負の対数関数の性質より $P(A) = 1$ のときは $I(A) = 0$
  • 対数関数の性質より $-\log_2 P(A)P(B) = -\log_2 P(A) - \log_2 P(B)$

[!NOTE]
$P(A) = 1$ のときは $I(A) = 0$ 、つまり確実に起きる事象の情報量が 0 になることは重要です。

負の対数関数の詳細は 負の対数関数 を参考にしてください。

情報量の単位と具体例

情報理論において、事象の不確実性（起こりにくさの大きさ）を定量化する標準的な単位としてビット（bit）（またはシャノン: shannon）が用いられます。

本定義において、基準となるのは生起確率がちょうど $\frac{1}{2}$ である事象が確定したときであり、このときに得られる情報量を 1 ビットと定義します。

具体例による解釈

  1. 2 者択一の事象（コイントス等）
    • 表裏が等確率（各 $\frac{1}{2}$）で出現するコイントスにおいて、「表」という確定情報は 1 ビットの情報量を持ちます
    • 計算式： $-\log_2 \left(\frac{1}{2}\right) = 1 \text{ bit}$
  2. 4者択一の事象（4択クイズ等）
    • すべての選択肢が等確率（各 $\frac{1}{4}$）である 4 択クイズにおいて、「正解は 3 番である」という確定情報は 2 ビットの情報量を持ちます。
      • これは、確率 $\frac{1}{2}$ の独立な試行を2回連続で的中させる不確実性（$\frac{1}{2} \times \frac{1}{2} = \frac{1}{4}$）が解消された状態に相当します
    • 計算式： $-\log_2 \left(\frac{1}{4}\right) = 2 \text{ bits}$

性質の一般化

生起確率が $\frac{1}{2}$、$\frac{1}{4}$、$\frac{1}{8}$ と乗算的に減少（＝事象がより起こりにくく）していくにつれ、対数関数の性質により、得られる情報量は 1 ビット、2 ビット、3 ビットと加算的に増加していきます。

補足

$\frac{1}{2}$ の情報量 $-\log_2(\frac{1}{2}) = 1$ を表したグラフです。

情報量

参考までに指数関数のグラフも記載します。

情報量