エントロピー | 情報理論

エントロピー(平均情報量)

情報理論のエントロピー(Entropy)は、確率分布の不確実性を定量化した尺度であり別名を平均情報量と呼びます。

確率変数 $X \in {x_1, \dots, x_n}$ の確率分布 $p(x)$ のエントロピー $H(X)$ は以下の式で定義されます。

\[\begin{aligned} H(X) = \sum_{i=1}^{n} p(x_i) \cdot I(x_i) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i) \quad \text{離散確率変数} \\ H(p) = \int\limits_x p(x) \log_2 p(x) dx \quad \text{連続確率変数} \end{aligned}\]

エントロピーは、確率変数 $X$ が値 $x_i$ を取る確率 $p(x_i)$ に対し、$x_i$ の情報量 $I(x_i)$ を乗算し総和を算出するので情報量の期待値になります。

エントロピーは、$X$ が取りうるすべての値の確率が均等である場合(つまり完全に不確実な場合)に最大になり、$X$ が特定の値を取る確率が 1 の場合(つまり不確実性がない場合)に $0$ になります。

\[p(x_i) = 1 \Rightarrow I(x_i) = -\log_2 p(x_i) = 0\]

情報量との対比

• 情報量（$I(x)$）: 確率変数 $X$ が特定の値 $x$ に確定した後、その 1 点に対して定まる不確実性(意外性)の大きさ
• エントロピー（$H(p)$）: 確率変数 $X$ が取りうるすべての値について平均した分布全体の不確実性の大きさ

交差エントロピー

• 交差エントロピー

結合エントロピー（Joint Entropy）

結合エントロピー $H(X,Y)$ は、同時確率分布 $p(x,y)$ から得られる情報量 $I(x,y)$ の平均的な量（期待値）で同時エントロピーとも呼びます。

\[H(X,Y) = \mathbb{E}_{(x,y)\sim p(x,y)}[-\log_2 p(x,y)] = -\sum_{x,y} p(x,y)\log_2 p(x,y) = H(X,Y) = -\sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x,y) \log_2 p(x,y)\]

NOTE
結合エントロピーは一般に確率変数 $X$, $Y$ を使って $H(X,Y)$ と表記します。
確率分布 $p$, $q$ を使った $H(p,q)$ は一般に交差エントロピー（クロスエントロピー）にを表します。

具体例

• $X$：明日の天気（晴れ・雨）
• $Y$：明日の傘の売れ行き（売れる・売れない）

このとき、組み合わせは $(晴れ, 売れない)$, $(晴れ, 売れる)$, $(雨, 売れない)$, $(雨, 売れる)$ の 4 パターンです。

1. 完全に連動している場合（独立でない）
   • 晴れたら 100% 売れず、雨なら 100% 売れるとする
   • 天気が分かれば傘の売れ行きも分かるため情報量は天気の 1 変数分だけで済む（$H(X, Y) = H(X)$）
2. まったく関係ない場合（独立）
   • 天気の晴れ・雨 $X$ とコインの表・裏 $Y$ の組み合わせ
   • まったく別の不確実性が 2 つ合わさるため、不確実性は単なる足し算になる（$H(X, Y) = H(X) + H(Y)$）

連鎖律（Chain Rule）

離散結合エントロピーは以下の連鎖律が成り立ちます。

\[H(X, Y) = H(X) + H(Y\vert{}X)\]

$X$, $Y$ 全体の不確実性 $H(X, Y) $ は $X$ と $X$ の値を知った後に残る $Y$ のあいまいさ（条件付きエントロピー）の和 です。

確率の乗法定理 $p(x, y) = p(x) \cdot p(y\vert{}x)$ を対数の中に代入して導出します。

\[\begin{aligned} H(X, Y) &= -\sum_{x, y} p(x, y) \log_2 p(x, y) \\[4pt] &= -\sum_{x, y} p(x, y) \log_2 \big( p(x) \cdot p(y \mid x) \big) \\[4pt] &= -\sum_{x, y} p(x, y) \big[ \log_2 p(x) + \log_2 p(y \mid x) \big] \\[4pt] &= -\sum_{x, y} p(x, y) \log_2 p(x) \;-\; \sum_{x, y} p(x, y) \log_2 p(y \mid x) \\[4pt] &= -\sum_{x} \log_2 p(x) \underbrace{\left( \sum_{y} p(x, y) \right)}_{=\, p(x)\ \text{（周辺化）}} \;-\; \sum_{x, y} p(x, y) \log_2 p(y \mid x) \\[4pt] &= -\sum_{x} p(x) \log_2 p(x) \;-\; \sum_{x, y} p(x, y) \log_2 p(y \mid x) \\[4pt] &= \underbrace{-\sum_{x} p(x) \log_2 p(x)}_{H(X)} \;+\; \underbrace{\left( -\sum_{x, y} p(x, y) \log_2 p(y \mid x) \right)}_{H(Y \mid X)} \end{aligned}\]

情報量の関係性（劣加法性）

情報量の関係性から、不等式（劣加法性）が成り立ちます。

\[H(X, Y) \le H(X) + H(Y)\]

$X$ と $Y$ の間に共通の情報（情報量" class="autolink-keyword">相互情報量 $I(X; Y) \ge 0$ Mutual Information）が存在するため、2つを個別に足したものは、結合エントロピー以上に大きくなります。等号が成り立つのは、重なりがゼロ（互いに独立）のときだけです。

条件付きエントロピー（Conditional Entropy）

条件付きエントロピー $H(Y\vert{}X)$ は、事象 $X=x$ が与えられたときの $Y$ の条件付き自己情報量 $-\log_2 p(y\vert{}x)$ の、同時分布 $p(x,y)$ における期待値 です。

\[H(Y\vert{}X) = \mathbb{E}_{(x,y) \sim p(x,y)} [-\log_2 p(y\vert{}x)] = -\sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x,y) \log_2 p(y\vert{}x)\]

記号では $H(Y\vert{}X)$ と表記します。

1. 直感的なイメージ

• エントロピー $H(Y)$：答えを知る前の不確実性
• 条件付きエントロピー $H(Y\vert{}X)$：ヒント $X$ をもらった後になお残る、答え $Y$ の不確実性

ヒント $X$ がとても優秀（$Y$ と強く関係している）なら、ヒントを聞いた瞬間に答えがほぼわかるため、残るあいまいさ $H(Y\vert{}X)$ はゼロに近づきます。

2. かんたんな例

今日の服装（$Y$）を当てるゲームを考えてみます。

例 A：ヒントが「今日の天気（$X$）」の場合

• 状態：「今日の天気は『大雨』だよ」というヒント $X$ をもらった
• 残るあいまいさ：雨なら「長靴＋レインコート」の確率が極めて高くなります。選択肢が絞られるため、服装 $Y$ の予測はかなり簡単になります
• 結論：条件付きエントロピー $H(Y\vert{}X)$ はとても小さい（ほぼゼロ）

例 B：ヒントが「昨日の夕食（$X$）」の場合

• 状態：「昨日の夕食は『カレー』だよ」というヒント $X$ をもらった
• 残るあいまいさ：カレーを食べたからといって、今日の服装にはほぼ影響がありません。ヒントをもらっても予測のしやすさは変わりません
• 結論：条件付きエントロピー $H(Y\vert{}X)$ は $H(Y)$ のまま（変化なし）

3. 数式での定義

離散確率変数の定義式は以下の通りです。

\[H(Y \mid X) = \mathbb{E}_{(x,y)\sim p(x,y)}\left[-\log_2 p(y \mid x)\right] = -\sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x, y) \log_2 p(y \mid x)\]

式のポイント

• $p(y\vert{}x)$：$x$ という条件が分かっているときの $y$ の条件付き確率（残された不確実性）
• $\mathbb{E}_{(x,y)\sim p(x,y)}$：あらゆる $(x, y)$ の発生パターンの確率 $p(x, y)$ で重みづけして、全体として平均的にどれくらいあいまいさが残るかを計算しています

4. ほかのエントロピーとの関係性

結合エントロピー（全体のあいまいさ）の連鎖律を使うと、全体像が綺麗に整理できます。

\[H(X, Y) = H(X) + H(Y \mid X)\]

これを変形すると：

\[H(Y \mid X) = H(X, Y) - H(X)\]

「ヒント $X$ を知った後の $Y$ のあいまいさ」＝「全体のあいまいさ $H(X, Y)$」ー「ヒント $X$ が持っていたあいまいさ $H(X)$」

つまり、全体の中から $X$ の情報を取り除いた「残りの部分」を表しています。

まとめ

条件	意味	条件付きエントロピー $H(Y \mid X)$ の値
$X$ と $Y$ が完全連動	$X$ が分かれば $Y$ が100%決まる	$0$（あいまいさは残らない）
$X$ と $Y$ が完全独立	$X$ を知っても $Y$ のヒントにならない	$H(Y)$（元のあいまいさのまま）
一般的な関係	$X$ が多少なりとも $Y$ の情報を持つ	$0 \le H(Y \mid X) \le H(Y)$