情報理論の情報量（Information Content）は 確率変数 $X$ の実現値 $x$ に関する不確実性を定量化した尺度です。
情報量は以下の性質を満たします。

  • 確率 $p(x)$ の単調減少関数である（起こりにくい出来事ほど情報量は大きくなる）
  • 確率が $1$（100% 確実に起こる）のときは情報量は $0$ になる
  • 確率が $0$（絶対に起きない）の情報量は $\infty$ になる
  • $p(A \cap B) = P(A)P(B)$ を和で表す（独立事象の加法性）

$x$ が起きる確率を $p(x)$ とすると、情報量 $I(x)$ は以下の式で定義されます（2 を底とする対数関数" class="autolink-keyword">負の対数関数）。

\[I(x) = -\log_2 p(x) \quad x \in \mathcal{X} \ (\text{ただし } p(x) > 0)\]

底に 2 を使うのは、2 分の 1（2 択）を基準（1 ビット）にするためです。
$-\log_2 p(x)$ は以下の性質を持ちます。

  • 対数関数" class="autolink-keyword">負の対数関数の性質より $p(x)$ は単調減少関数
  • 対数関数" class="autolink-keyword">負の対数関数の性質より $p(x) = 1$ のとき $I(x) = 0$
  • 底 2 の対数関数" class="autolink-keyword">負の対数関数の性質より $p(x) = \frac{1}{2}$ のとき $I(x) = -\log_2 (\frac{1}{2}) = 1$
  • 対数関数の性質より $-\log_2 p(x)p(y) = -(\log_2 p(x) + \log_2 p(y))$

対数関数" class="autolink-keyword">負の対数関数の詳細は 負の対数関数 を参考にしてください。

情報量の意味

情報量（$I(x) = -\log_2 p(x)$）は、事象 $x$ に対して分布 $p$ のもとで理論的に割り当てるべき符号長(ビット数)です。

  • $p(x) = \frac{1}{2}$ なら $-\log_2(\frac{1}{2}) = 1$ ビット
  • $p(x) = \frac{1}{4}$ なら $-\log_2(\frac{1}{4}) = 2$ ビット
  • $p(x) = \frac{1}{8}$ なら $-\log_2(\frac{1}{8}) = 3$ ビット

起こりやすい事象（$p(x)$ が大きい）には短い符号を、起こりにくい事象（$p(x)$ が小さい）には長い符号を割り当てるというルールを数式にしたものです。

ハフマン符号でビット列を作るときの理論的な下限に対応しています。

\[p(A)=\frac{1}{2},\quad p(B)=\frac{1}{4},\quad p(C)=\frac{1}{8},\quad p(D)=\frac{1}{8}\]

という分布なら以下の符号長が最適(平均符号長が最小)になります。

\[A \to 1\text{ビット},\quad B \to 2\text{ビット},\quad C \to 3\text{ビット},\quad D \to 3\text{ビット}\]

実際にハフマン符号を作ると、$A=$0、$B=$10、$C=$110、$D=$111 のようにちょうどこのビット数になります（このように綺麗に一致するのは $p(x)$ がすべて $\frac{1}{2^n}$ の形のときで、そうでない場合は端数が出ますが、平均としては $-\log_2 p(x)$ に漸近します）。

補足

$\frac{1}{2}$ の情報量 $-\log_2(\frac{1}{2}) = 1$ を表したグラフです。

参考までに指数関数のグラフも記載します。

局所的相互情報量

事象 $X=x$ という条件付により減少する $Y=y$ の不確実性（自己情報量）の量を $x$ と $y$ の情報量" class="autolink-keyword">相互情報量" class="autolink-keyword">局所的情報量" class="autolink-keyword">相互情報量（point-wise mutual information）と呼び以下の式で定義します。

\[i(x;y) = \bigl(-\log_2 p(y)\bigr) - \bigl(-\log_2 p(y\vert{}x)\bigr) = \log_2 \frac{p(y\vert{}x)}{p(y)} = \log_2 \frac{p(x,y)}{p(x)p(y)}\]

対称性の確認: $p(y\vert{}x)p(x) = p(x,y) = p(x\vert{}y)p(y)$ より

\[\begin{aligned} \log_2 \frac{p(y\vert{}x)}{p(y)} = \log_2 \frac{p(y\vert{}x) \times p(x)}{p(y) \times p(x)} \\ = \log_2 \frac{p(x,y)}{p(x)p(y)} = \log_2 \frac{p(x\vert{}y) \times p(y)}{p(x) \times p(y)} = \log_2 \frac{p(x\vert{}y)}{p(x)} \end{aligned}\]

となり、 $X$ と $Y$ を入れ替えても値は変わらない。したがって $i(x;y) = i(y;x)$。

  • 特定の実現値のペア $(x,y)$ に対して定義される一つの数値
  • $\mathcal X \times \mathcal Y$ 上の関数であり、$(x,y)$ が変われば値も変わる
  • 符号は正にも負にもなり得る(後述)

相互情報量

$i(x;y)$ を同時分布 $p(x,y)$ のもとで期待値を取ったものが情報量" class="autolink-keyword">相互情報量です。

\[I(X;Y) = \mathbb{E}_{(x,y)\sim p(x,y)}\bigl[\, i(x;y) \,\bigr] = \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x,y) \log_2 \frac{p(x,y)}{p(x)\,p(y)}\]
  • $i(x;y)$ を同時分布 $p(x,y)$ で平均した一つのスカラー値(期待値)
  • $X$ と $Y$ という確率変数全体の関係を表す量
  • 常に非負($I(X;Y)\ge 0$)

$i(x;y)$ の負になり得る例

$i(x;y) = \log_2 \dfrac{p(y\vert{}x)}{p(y)}$ です。これは $X=x$ を知ったことで $p(y\vert{}x)$ が周辺確率 $p(y)$ より大きくなったか小さくなったかで符号が決まります。

  • $p(y\vert{}x) > p(y)$ なら $i(x;y) > 0$ （$X=x$ を知ると $Y=y$ が起こりやすくなったO）
  • $p(y\vert{}x) < p(y)$ なら $i(x;y) < 0$ （$X=x$ を知ると $Y=y$ が起こりにくくなった）

つまり、特定の組み合わせ $(x,y)$ については不確実性が増すこともあり得るため、$i(x;y)$ 自体は負の値を取り得ます。

しかし、これを同時分布全体で平均した $I(X;Y)$ は、KL ダイバージェンスとして常に非負になります(ギブスの不等式)。

エントロピーとの関係の導出

\[\begin{aligned} I(X;Y) &= \sum_{x,y} p(x,y) \log_2 \frac{p(y\mid x)}{p(y)} \\ &= \sum_{x,y} p(x,y) \log_2 p(y\mid x) \;-\; \sum_{x,y} p(x,y) \log_2 p(y) \\ &= -H(Y\mid X) \;-\; \Bigl(-\sum_{y}\Bigl(\sum_{x} p(x,y)\Bigr) \log_2 p(y)\Bigr) \\ &= -H(Y\mid X) \;-\; \Bigl(-\sum_{y} p(y) \log_2 p(y)\Bigr) \\ &= H(Y) - H(Y\mid X) \end{aligned}\]

対称性 $i(x;y)=i(y;x)$ より、同様に

\[I(X;Y) = H(X) - H(X\mid Y)\]

も成り立つ。

さらに、$\log_2 \dfrac{p(x,y)}{p(x)p(y)} = \log_2 p(x,y) - \log_2 p(x) - \log_2 p(y)$ を使えば

\[I(X;Y) = H(X) + H(Y) - H(X,Y)\]

も直接導ける(これは結合エントロピー $H(X,Y)$ の全体式と対応する)。

非負性(数学的厳密性の補足)

$I(X;Y)\ge 0$ であることは、$I(X;Y)$ が $p(x,y)$ と $p(x)p(y)$ の間の KL ダイバージェンス

\[I(X;Y) = D_{\mathrm{KL}}\bigl(p(x,y)\,\|\,p(x)p(y)\bigr) = \sum_{x,y} p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}\]

に等しく、KL ダイバージェンスが常に非負である(ギブスの不等式、イェンセンの不等式による)ことから従う。

等号 $I(X;Y)=0$ は $p(x,y)=p(x)p(y)$、すなわち $X$ と $Y$ が独立な場合に限り成立する。