同時分布

複数の確率変数が同時に特定の値をとる確率を表す分布を同時（確率）分布と呼びます（結合（確率）分布とも呼ばれる）。

天気と傘の同時分布

  傘を持つ 傘を持たない 周辺確率
晴れ 0.1 0.4 0.5
雨 0.4 0.1 0.5
周辺確率 0.5 0.5  

天気（$X$）と傘の持参（$Y$）は独立ではありません。
独立であれば 晴れ×傘を持つ = 0.5×0.5 = 0.25 になりますが、実際は 0.1 です。

$p(X)$, $p(Y)$ という書き方

同じ文字 $p$ を引数や添字で区別して書くのが標準的な慣習です。

  • $p(X)$, $p(Y)$：引数（確率変数名）で区別します。同じ確率分布 $p$ の下での、それぞれの周辺分布という意味になります
  • $p_X(x)$, $p_Y(y)：添字で明示的に区別します。$X$ と $Y$ が同じ確率空間上の確率変数であることを強調したいときに使います

同時分布 $p(X, Y)$ があり、そこから周辺分布を得ます。

\[p_X(x) = \sum_y p(x, y), \qquad p_Y(y) = \sum_x p(x, y)\]

$p(X)$, $q(Y)$ のように異なる文字を使う場合

異なる文字 $p$, $q$ を使うのは、次のような場面でよく見られます。

  1. 確率変数 $X$ と $Y$ が別々の（無関係な）確率分布に従うことを強調したいとき
    • 例えば、独立した 2 つの実験や、そもそも同時分布が定義されていない（または重要でない）場合です
  2. 比較・KLダイバージェンスなどで 2 つの異なる分布を扱うとき
    • 情報理論などでは $D(p   q)$ のように、$p$ と $q$ は 同じ変数に対する2つの異なる分布 を指すのが普通です。この場合、$p(X)$, $q(X)$（同じ変数について）と書くことが多く、$p(X)$, $q(Y)$（別々の変数について）とはあまり書きません
  3. 同時分布を想定していないことを暗に示したいとき
    • $p(X, Y)$ と書くと X と Y の同時分布がある ことを前提にしてしまいますが、$p(X)$, $q(Y)$ と別文字にすると 同時分布は考えていない、それぞれ独立に定義された分布 というニュアンスが出ます

Deep Learning の例（p(x), q(x)）との対比

正解ラベルの分布 p(x) と予測分布 q(x) は、同じ確率変数（同じサンプル空間、例えばクラスラベル x）に対する、2つの異なる分布（モデル）です。

  • x という同じ「もの」について、「真の分布」と「モデルが出した分布」を比較しています。
  • 両者の間に同時分布 z(x, y) のようなものは存在しません（そもそも定義する必要がありません）。
  • 目的は「p と q がどれだけ近いか」を測ることです（クロスエントロピーや KL ダイバージェンス）。
\[H(p, q) = -\sum_x p(x) \log q(x)\]

一方、天気と傘の例の z(x, y) は、同じ確率空間上に定義された、2つの異なる確率変数 X（天気）と Y（傘）があり、その間の関係（相関・依存性）を捉えるためのものです。

  • X と Y は別々の「もの」（別次元の情報）です。
  • z(x, y) はその2つが同時に起きる確率です。
  • 目的は「X と Y がどれだけ関係しているか」を測ることです（相互情報量など）。

まとめ

  何を比較・記述しているか 典型的な道具
p(x), q(x) 同じ変数 x に対する2つの分布（真の分布 vs 予測分布） KLダイバージェンス、クロスエントロピー
z(x, y) 同じ確率空間上の2つの変数 X, Y の同時分布 相互情報量、条件付き確率

z(x,y) は独立した2つの分布ではなく、同じ確率空間上の X, Y の同時分布です。逆に p(x), q(x) の方は、変数は同じでも「分布そのもの」が2つある、という点が z(x,y) との違いのポイントです。