この記事では、観測値が離散的な場合を扱います（連続の場合は確率質量関数を確率密度関数に読み替えます）。

観測値 $x_1,\dots,x_n$ が得られたときの尤度関数は、観測値に対する確率質量関数（連続の場合は確率密度関数）を、観測値を固定したままパラメータ $\theta$ の関数として見たものです。離散の場合、これは観測値が得られる同時確率に一致します。

尤度関数の式は同時確率の式と同じになります。同時確率の変数は確率変数の実現値（観測値）ですが、尤度関数では観測値を固定し、代わりに確率分布を指定するパラメータ $\theta$ を変数とみなします。尤度関数の変数を特にパラメータと呼ぶことがあります。

\[L(\theta) := p(x_1,\dots,x_n;\theta)\]

ここで $p(\,\cdot\,;\theta)$ はパラメータ $\theta$ で指定される確率分布（確率質量関数）です。

尤度関数 $L(\theta)$ は $\theta$ の確率分布ではない

「引数」「出力」「推定値」を区別すると、混乱を避けられます。

  何か 性質
$\theta$ 尤度関数の引数（パラメータ） 動かす変数。確率を直接パラメータにした場合（カテゴリカル分布など）は確率ベクトルそのもの。分類器や LLM では重み
$L(\theta)$ 尤度関数の出力（尤度の値） 離散ならその $\theta$ のもとで観測データが得られる確率（スカラー）。入力 $z_i$ が付く場合は、$z_i$ を与えたもとでの確率
$\hat\theta=\underset{\theta}{\arg\max}\,L(\theta)$ 最尤推定値（最尤推定法） $L$ を最大にする引数。確率を直接パラメータにした場合は 1 つの分布

尤度関数の出力 $L(\theta)$ の値 1 つ 1 つは、離散なら観測データの確率です。一方、引数 $\theta$ の上に $L(\theta)$ を並べたもの（尤度関数）は、$\theta$ 上の確率分布ではありません。$\theta$ について足したり積分したりしても 1 になるとは限らないためです。

例：ベルヌーイ試行を 1 回観測して $x_1=1$ だった場合、$L(p)=p$ です。$\int_0^1 L(p)\,dp = 1/2$ となり、1 になりません。

なお、$L(\hat\theta)$（最大の尤度の値）と $\hat\theta$（最尤推定値）も別物です。離散の場合、$L(\hat\theta)$ は観測データの確率（1 以下の数値）で、$\hat\theta$ は分布を指定するパラメータです。連続の場合の $L(\hat\theta)$ は確率密度の積なので、1 を超えることがあります。

連鎖律による分解

同時確率は、条件付き確率の定義から導かれる連鎖律（chain rule）によって以下の形に分解できます（条件に現れる事象の確率は正とします）。

\[p(x_1,\dots,x_n;\theta) = p(x_1;\theta)\,p(x_2\vert x_1;\theta)\,p(x_3\vert x_1,x_2;\theta)\cdots p(x_n\vert x_1,\dots,x_{n-1};\theta) = \prod_{i=1}^{n} p(x_i\vert x_{\lt i};\theta)\]

ただし $x_{\lt i} := (x_1,\dots,x_{i-1})$ です（$i=1$ のときは空、つまり条件なしです）。

この分解は恒等式であり、独立性などの仮定なしに常に成り立ちます。したがって、尤度関数の一般の形は以下です。

\[L(\theta) = \prod_{i=1}^{n} p(x_i\vert x_{\lt i};\theta)\]

i.i.d. を仮定しない場合

各因子 $p(x_i\vert x_{\lt i};\theta)$ は、関数の形と $\theta$ が共通でも、条件 $x_{\lt i}$ が異なるため、$x_i$ の分布は $i$ ごとに異なり得ます。各観測に既知の入力 $z_i$（分類器の入力など）が付く場合は、これも条件に加えて $p(x_i\vert x_{\lt i},z_i;\theta)$ と書きます（$z_i$ がない場合は $z_i$ を省略して読んでください）。

\[p_i(x_i\vert x_{\lt i};\theta) := p(x_i\vert x_{\lt i},z_i;\theta)\]

ここで $z_i$ だけを条件に残しているのはモデル上の仮定です。入力 $z_{1:n}=(z_1,\dots,z_n)$ を与えたもとでの同時確率 $p(x_{1:n}\vert z_{1:n};\theta)$ に連鎖律を適用すると、各因子の条件は $x_{\lt i}$ と $z_{1:n}$ 全体になります。これを $z_i$ だけに絞れるのは、「$x_i$ の分布は他の入力 $z_j\ (j\neq i)$ に依存しない」と仮定しているためです。

以降で使う記号の役割は次のとおりです。

記号 役割 例
$x_i$ 観測値（正解）。多値では one-hot ベクトル $\boldsymbol{x}^i$ 分類のラベル、LLM の位置 $t$ の正解トークン
$z_i$ モデルへの入力（条件）。$\theta$ を含まない、与えられたもの 画像、プロンプト
$f_\theta(z_i)$ モデルの出力（ロジット）。埋め込みや Transformer の層は $f_\theta$ の内部 語彙数 $V$ 次元の logits
$\pi_i$ 予測確率（分布）。$f_\theta(z_i)$ に sigmoid / softmax を適用したもの（多値では $\boldsymbol{\pi}^i$） LLM では $q_t$

尤度関数は以下です。

\[L(\theta) = \prod_{i=1}^{n} p_i(x_i\vert x_{\lt i};\theta)\]

$\theta$ は 1 組で共通ですが、そこから導かれる分布 $p_1,\dots,p_n$ は、互いに異なる可能性があります。異なるのは、関数に入力する条件（$x_{\lt i}$ や $z_i$）が $i$ ごとに違うためです。

仮に $p_1,\dots,p_n$ を互いに無関係な自由な変数として動かせるとすると、観測が 1 系列しかない場合は $p_i(x_i\vert x_{\lt i})=1$ とするだけで尤度が最大（$L=1$）になってしまい、推定が退化します。実際には $p_1,\dots,p_n$ はすべて共通の $\theta$ から決まる形に制限されます。パラメータの自由度が観測数に近いほど、観測データに過度に適合（過剰適合）しやすくなります。

最尤推定で求めるのは共通の $\theta$ の推定値 $\hat\theta$ 1 つだけです。各 $p_i$ は $\hat\theta$ と条件から $\hat p_i = p(\,\cdot\,\vert x_{\lt i},z_i;\hat\theta)$ として決まります。

i.i.d. でないケースの代表的な 2 種類は、次のとおりです。

  • 独立だが同分布でない：$x_{\lt i}$ には依存せず、既知の入力 $z_i$ にだけ依存して分布が $i$ ごとに変わります。$p(x_i\vert x_{\lt i},z_i;\theta) = p(x_i\vert z_i;\theta)$ と書け（この条件付き独立のため $x_{\lt i}$ が条件から消えます）、$z_i$ を与えたうえで $x_1,\dots,x_n$ は条件付き独立です。$\theta$ は全 $i$ で共通で、分布の違いは入力 $z_i$ の違いによります
    • 例：入力 $z_i$ ごとに予測分布が変わる分類器。
  • 独立でない（従属）：$x_i$ の分布が過去の観測値 $x_{\lt i}$ に依存します。同分布とは限りません（周辺分布は位置ごとに異なり得ます）。ただし、分布を決める関数と $\theta$ は全位置で共有されます
    • 例：自己回帰モデル。

$x_{\lt i}$ と $z_i$ の両方に依存する場合（プロンプトを条件とする生成など）もあります。

具体例：自己回帰言語モデル（LLM の多く）は従属のケースです。系列長 $T$ の 1 本の系列について、$i\to t$、$n\to T$ と読み替え、モデルの予測分布を $q_\theta(x_t\vert x_{\lt t})$ と書きます（$q_\theta$ は上記の $p$ にあたります）。位置 $t$ ごとに条件付き分布（softmax の出力）は変わりますが、それを決めるパラメータ（重み）$\theta$ は全位置で共有されています。

\[L(\theta) = \prod_{t=1}^{T} q_\theta(x_t\vert x_{\lt t})\]

分類器（画像など）では入力 $z_i$ と観測値 $x_i$ は別物ですが、自己回帰 LLM では、入力（過去のトークン $x_{\lt t}$）と観測値（次のトークン $x_t$）が同じ系列の別の位置です。そのため上の式では $z$ を使わず、$x_{\lt t}$ が $z_i$ の役割を果たしています。$z$ は、プロンプトのように系列の外から与えられる条件を表すときに別途使います。

i.i.d. の場合（特殊ケース）

$x_1,\dots,x_n$ が独立に同一の分布 $p(\,\cdot\,;\theta)$ から生成されたと仮定すると、$p(x_i\vert x_{\lt i};\theta) = p(x_i;\theta)$ となり、連鎖律が単一の関数 $p$ の積に単純化されて定義は以下になります。

\[L(\theta) = \prod_{i=1}^{n} p(x_i;\theta)\]

以降のベルヌーイ分布・カテゴリカル分布の節では、尤度関数と対数尤度関数の導出に限って i.i.d. を仮定します。交差エントロピー損失との対応や「分類器の場合」の小節では、観測ごとに分布が異なる場合（分類器は独立だが同分布でない、LLM は従属）も扱います。

対数尤度

積だと微分が煩雑なので対数を取り、和の形に変換します。

一般形：

\[\log L(\theta) = \sum_{i=1}^{n} \log p(x_i\vert x_{\lt i};\theta)\]

i.i.d. の場合：

\[\log L(\theta) = \sum_{i=1}^{n} \log p(x_i;\theta)\]

対数を取っても問題ないのは、$\log$ が単調増加関数だからです。$L(\theta)$ を最大にする $\theta$ と $\log L(\theta)$ を最大にする $\theta$ は一致します。また、確率の積は小さな値の掛け算になるため、数値計算ではアンダーフローしやすく、和に変えることで避けられます。

注意点は次の 2 つです。

  • 観測値の確率が 0 になる $\theta$ では $L(\theta)=0$、$\log L(\theta)=-\infty$ となり、最大化の候補から外れます。
  • 以降の式に出てくる $x\log p$ の形の項で、$x=0$ かつ $p=0$ の場合の $0\cdot\log 0$ は $0$ と約束します。これに対応して、確率質量関数の $p^{x}$ の形でも、$p=0$ かつ $x=0$ のとき $0^0=1$ とします（$\log 0^0=0\cdot\log 0=0$ と整合します）。

ベルヌーイ分布

ベルヌーイ試行の観測値を ${x_1, x_2, \dots, x_n}$（各 $x_i\in{0,1}$）とします。成功確率を $p$（$0\le p\le 1$）とし、各試行は独立に同一の分布に従うと仮定します。この節ではパラメータ $\theta$ が $p$ です。これは確率そのものがパラメータになる場合の読み替えで、後述の分類器のように確率が重み $\theta$ と入力から計算される場合は $\theta\neq p$ です。

二項分布との違いに注意してください。試行回数 1 の二項分布がベルヌーイ分布です。二項分布では「$m$ 回中の成功回数 $k$」1 個が観測値になり、確率質量関数に二項係数 $\binom{m}{k}$ が付きます（$p$ に依存しないので、$p$ についての最大化には影響しません）。ここでは 0/1 の個別の結果 $n$ 個が観測値なので、この係数は現れません。

尤度関数

ベルヌーイ分布の確率質量関数は $p(x;\theta)=p^{x}(1-p)^{1-x}$ です（左辺の $p(\cdot)$ は確率質量関数、右辺の $p$ は成功確率。この節では $\theta=p$）。 ベルヌーイ分布の尤度関数は以下のとおりです。

\[L(p) = \prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i}\]

$k=\sum_{i=1}^{n}x_i$（成功の総数）とおくと、$L(p)=p^{k}(1-p)^{n-k}$ とも書けます。

対数尤度関数

積（総乗 $\prod$）のままだと微分が複雑になるため、全体の自然対数（$\log$）を取って、計算しやすい和（総和 $\sum$）に変換します。積の対数は対数の和、冪の対数は係数になります。

\[\begin{aligned} \log L(p) &= \sum_{i=1}^{n} \log \left( p^{x_i}(1-p)^{1-x_i} \right) \\ &= \sum_{i=1}^{n} \left( x_i \log p + (1-x_i)\log(1-p) \right) \end{aligned}\]

負の対数尤度と 2 クラス交差エントロピー

上記の符号を反転した負の対数尤度関数は、2 クラス分類の損失関数（2 クラスの交差エントロピー）と同じ形をしています。

\[-\sum_{i=1}^{n} \left( x_i \log p + (1-x_i)\log(1-p) \right)\]

ただしニューラルネットワークでは、成功確率が観測ごとに異なる $p_i$ になります。損失関数は次の形です（通常は $n$ で割って平均を取ります）。

\[-\sum_{i=1}^{n} \left( x_i \log p_i + (1-x_i)\log(1-p_i) \right)\]

$p_i$ がすべて共通の $p$ なら、上の式に一致します。つまり、この節の i.i.d. の式は、$p_i$ の式の特殊ケースです。

分類器の場合：$\theta\neq p$ と「独立だが同分布でない」尤度

分類器では、成功確率は入力 $z_i$ とネットワークの重み $\theta$ から計算されます。以降、$p_i$ を $\pi_i$ と書きます。

\[p_i = \pi_i = \sigma(f_\theta(z_i))\]
  • $x_i$：$i$ 番目の観測値（正解ラベル、$x_i\in{0,1}$）
  • $z_i$：$i$ 番目の入力（$\theta$ を含まない、与えられたもの）
  • $f_\theta$：ネットワーク（重み $\theta$）。$f_\theta(z_i)$ がその出力（ロジット）。埋め込み層などの中間表現は $f_\theta$ の内部にある
  • $\sigma$：シグモイド関数

この場合、推定するのは確率そのものではなく重み $\theta$ なので、$\theta\neq p$ です。

各観測 $x_i$ は、入力 $z_i$ を条件とした条件付き分布 $p(x_i\mid z_i;\theta)$ に従います。

\[p(x_i\mid z_i;\theta)=\pi_i^{x_i}(1-\pi_i)^{1-x_i}\]

（$\pi_i^{x_i}$ は「$\pi_i$ の $x_i$ 乗」です。）観測は互いに独立ですが、入力 $z_i$ が異なるため同じ分布ではありません（独立だが同分布でない）。したがって尤度関数は、各観測の条件付き確率の積になります。この場合の尤度は、入力 $z_1,\dots,z_n$ を与えたもとで観測値 $x_1,\dots,x_n$ が得られる確率です。

\[L(\theta)=\prod_{i=1}^{n} p(x_i\mid z_i;\theta)=\prod_{i=1}^{n} \pi_i^{x_i}(1-\pi_i)^{1-x_i}\]

対数を取って符号を反転すると、先ほどの $p_i$ の損失関数（$p_i=\pi_i$）に一致します。

\[-\log L(\theta)=-\sum_{i=1}^{n} \left( x_i \log \pi_i + (1-x_i)\log(1-\pi_i) \right)\]
  確率 仮定 位置づけ
この節の最尤推定 $p$（全観測で共通） i.i.d. $\hat p=\frac{1}{n}\sum_i x_i$ が閉じた式で求まる
分類器の学習 $\pi_i=\sigma(f_\theta(z_i))$（観測ごと） 独立だが同分布でない 2 値交差エントロピー。$\theta$ は勾配降下法で更新

多値（カテゴリカル分布）の場合も同じ構造です（次節の「分類器の場合」を参照）。LLM では位置 $t$ ごとに $q_t$ が変わります（LLM の尤度 を参照）。

カテゴリカル分布

カテゴリカル分布の尤度関数について記載します。

前提条件

  • $N$：観測値の数（データ数）
  • $M$：カテゴリ数
  • $\boldsymbol{x}^i$：$i$ 番目の観測値。one-hot ベクトル $\left(x^i_1, \ldots, x^i_M \right)$
    • $x^i_j$：$i$ 番目の観測値がカテゴリ $j$ に属する場合 $1$、そうでなければ $0$（$\sum_{j=1}^{M} x^i_j = 1$）
  • $\boldsymbol{p}$：$\left( p_1, \ldots, p_M \right)$：確率ベクトル（パラメータ）
    • $p_j$：カテゴリ $j$ の確率。$p_j \ge 0$、$\sum_{j=1}^{M} p_j = 1$ を満たす

観測値は独立に同一の分布に従うと仮定します。

多項分布との違いに注意してください。多項分布は「$N$ 回の試行で各カテゴリが何回出たか」$(N_1,\dots,N_M)$ を 1 つの観測値とし、確率質量関数に多項係数 $\frac{N!}{N_1!\cdots N_M!}$ が付きます。ここでは個別の one-hot ベクトル $N$ 個を観測値とするため、この係数はありません（係数は $\boldsymbol{p}$ に依存しないので、$\boldsymbol{p}$ についての最大化には影響しません）。

尤度関数

カテゴリカル分布の確率質量関数は $p(\boldsymbol{x};\boldsymbol{\theta}) = \prod_{j=1}^{M} p_j^{x_j}$ です（左辺の $p(\cdot)$ は確率質量関数、右辺の $p_j$ はカテゴリ $j$ の確率。この節では $\boldsymbol{\theta}=\boldsymbol{p}$）。

この節ではパラメータ $\boldsymbol{\theta}$ を $\boldsymbol{p}$ と書きます。これは確率ベクトルそのものが未知のパラメータである場合の読み替えです。LLM のように、確率ベクトルが重み $\theta$ と文脈から計算される場合は $\theta\neq\boldsymbol{p}$ です。

$N$ 個の観測値が同時に発生する同時確率を求めます。独立同分布の仮定により、すべてのデータの確率質量関数を掛け合わせます。

\[\begin{aligned} L(\boldsymbol{p}) &= \prod_{i=1}^{N} p(\boldsymbol{x}^i;\boldsymbol{p}) \\ &= \prod_{i=1}^{N}\prod_{j=1}^{M} p_j^{x^i_j} \end{aligned}\]

$\prod_{j=1}^{M} p_j^{x^i_j}$ は $i$ 番目の観測値について計算しています。 $x^i_j$ は $i$ 番目の観測値がカテゴリ $j$ に属する場合 $1$、そうでなければ $0$ です。

具体例

  • $M=6$、$\boldsymbol{p}$：$\left( p_1, p_2, p_3, p_4, p_5, p_6 \right)$
  • $\boldsymbol{x}^1 = \left(0, 0, 1, 0, 0, 0 \right) $：3 番目のカテゴリ（$j=3$）に属する場合
\[\begin{aligned} \prod_{j=1}^{M} p_j^{x^1_j} &= p_{1}^0 \times p_{2}^0 \times p_{3}^1 \times p_{4}^0 \times p_{5}^0 \times p_{6}^0 \\ &= 1 \times 1 \times p_3 \times 1 \times 1 \times 1 \\ &= p_3 \end{aligned}\]

対数尤度関数

積（総乗 $\prod$）だと微分が複雑になるため、全体の自然対数（$\log$）を取って和（総和 $\sum$）の形に変換します。積の対数は対数の和、冪の対数は係数になります。

\[\begin{aligned} \log L(\boldsymbol{p}) &= \log \left( \prod_{i=1}^{N} \prod_{j=1}^{M} p_j^{x^i_j} \right) \\ &= \sum_{i=1}^{N} \sum_{j=1}^{M} \log p_j^{x^i_j} \\ &= \sum_{i=1}^{N} \sum_{j=1}^{M} x^i_j \log p_j \end{aligned}\]

ここで、$\sum_{i=1}^{N} x^i_j$ に注目します。
これは $N$ 回の試行のうち、$j$ 番目の選択肢が選ばれた合計回数を表しています。
これを $N_j$ と置き換えて式を整理します（$\sum_{j=1}^{M} N_j = N$ です）。

\[\log L(\boldsymbol{p}) = \sum_{j=1}^{M} N_j \log p_j\]

$N_j$ の導入（和の順序の入れ替え）

$\sum_{i=1}^{N} x^i_j$ を作る過程を補足します。

ステップ 1. 和の順序を入れ替える：

\[\sum_{i=1}^{N} \sum_{j=1}^{M} x^i_j \log p_j = \sum_{j=1}^{M} \sum_{i=1}^{N} x^i_j \log p_j\]

$i$ と $j$ の和は有限個の項の合計なので、どちらを先に足しても結果は変わりません（$i=1,\dots,N$ と $j=1,\dots,M$ のすべての組み合わせについて $x^i_j \log p_j$ を足し合わせているだけなので、ループの順序を入れ替えても総和は同じです）。

ステップ 2. $i$ に依存しない項を内側の和の外に出す：

$\log p_j$ は $j$ だけで決まり、$i$ には依存しないので、$\sum_{i=1}^{N}$ の中では定数として扱えます。

\[\begin{aligned} \sum_{i=1}^{N} x^i_j \log p_j &= \left( \sum_{i=1}^{N} x^i_j \right) \log p_j \\ \sum_{j=1}^{M} \sum_{i=1}^{N} x^i_j \log p_j &= \sum_{j=1}^{M} \left( \sum_{i=1}^{N} x^i_j \right) \log p_j \end{aligned}\]

負の対数尤度と多クラス交差エントロピー

カテゴリカル分布の負の対数尤度関数と LLM などのニューラルネットワークの多クラス損失関数（交差エントロピー）の関係を考えます。

ある 1 時刻における、語彙サイズ $V$ 、予測分布 $q$ 、 正解データ $x$（one-hot ベクトル）、正解ラベル $k$ の交差エントロピーは以下のようになります（$x$ を真の分布と考えます）。

\[\begin{aligned} -\sum_{j=1}^{V} x_j \log q_j = -\left( 0 \cdot \log q_1 + \cdots + 1 \cdot \log q_k + \cdots + 0 \cdot \log q_V \right) = -\log q_k \quad (x_k = 1,\ x_{j} = 0\ \ \forall j \neq k) \end{aligned}\]

これはカテゴリカル分布の対数尤度 $\sum_{i=1}^{N} \sum_{j=1}^{M} x^i_j \log p_j$ の符号を反転させ、
語彙数 $V = M$、$N = 1$（正解データを 1 回限りの観測値として考える）、カテゴリ $k$ とした式と同じ形をしています。

\[-\sum_{j=1}^{M} x_j \log p_{j} = -\log p_k \quad (x_k = 1,\ x_{j} = 0\ \ \forall j \neq k)\]

LLM は各位置（時刻）$t$ で予測分布 $q_t$ が異なります。

系列長を $T$ とし、位置 $t$ の正解データ（one-hot ベクトル）を $\boldsymbol{x_t}$、正解ラベルを $k_t$ とします（$x_{t,k_t}=1$、それ以外は $0$）。$q_{t,k_t}$ は $q_t$ の第 $k_t$ 成分、つまり正解トークンに割り当てた確率です。
損失関数は次の形です（通常は $T$ で割って平均を取ります）。

\[-\frac{1}{T}\sum_{t=1}^{T} \log q_{t,k_t}\]

$q_{t,k_t}$ は、「i.i.d. を仮定しない場合」の具体例で書いた $q_\theta(x_t\vert x_{\lt t})$（正解トークンの確率、スカラー）と同じ値です。したがって、この式は負の対数尤度 $-\log L(\theta)=-\sum_{t=1}^{T}\log q_{t,k_t}$ を $T$ で割った（位置あたりの平均にした）ものです。

分類器の場合：$\theta\neq\boldsymbol{p}$ と「独立だが同分布でない」尤度

分類器（多クラス）では、確率ベクトルは入力 $z_i$ とネットワークの重み $\theta$ から softmax を通して計算され、観測ごとに異なります。

\[\boldsymbol{\pi}^i = \mathrm{softmax}(f_\theta(z_i)), \qquad \pi^i_j = p(x^i_j=1\mid z_i;\theta)\]

$\pi^i_j$ は $i$ 番目の正解カテゴリ $j$（$x^i_j = 1$） に対する確率 $p(x^i_j=1\mid z_i;\theta)$ です。

  • $\boldsymbol{x}^i$：$i$ 番目の観測値（正解、one-hot ベクトル）
  • $z_i$：$i$ 番目の入力（$\theta$ を含まない、与えられたもの）
  • $f_\theta(z_i)$：ネットワークの出力（ロジット、$M$ 次元）。埋め込みや Transformer の層は $f_\theta$ の内部
  • $\boldsymbol{\pi}^i$：softmax を通した予測確率ベクトル

この場合、推定するのは確率ベクトルそのものではなく重み $\theta$ なので、$\theta\neq\boldsymbol{p}$ です。各観測は入力 $z_i$ を条件とした条件付き分布 $p(\boldsymbol{x}^i\mid z_i;\theta)=\prod_{j=1}^{M}(\pi^i_j)^{x^i_j}$ に従い、互いに独立ですが同分布ではありません。入力 $z_1,\dots,z_N$ を与えたもとでの尤度は次のとおりです。

\[L(\theta)=\prod_{i=1}^{N} p(\boldsymbol{x}^i\mid z_i;\theta)=\prod_{i=1}^{N}\prod_{j=1}^{M}(\pi^i_j)^{x^i_j}\]

対数を取って符号を反転すると、多クラス分類の交差エントロピー損失になります（通常は $N$ で割って平均を取ります）。

\[-\log L(\theta)=-\sum_{i=1}^{N}\sum_{j=1}^{M} x^i_j \log \pi^i_j\]

$\boldsymbol{\pi}^i$ がすべて共通の $\boldsymbol{p}$ なら、本節の $-\sum_j N_j\log p_j$ に一致します（和の順序の入れ替えにより）。

なお、LLM は $z_i$ に相当するものが過去のトークン $x_{\lt t}$ なので、観測が互いに独立ではなく従属のケースです（上の「独立だが同分布でない」には当たりません）。それでも尤度は連鎖律による積 $L(\theta)=\prod_{t=1}^{T} q_{t,k_t}$ となり、各因子が（one-hot の $x$ を使った）カテゴリカル分布の確率になる点で、式の形は上と同じです。

最尤推定法（Maximum Likelihood Estimation）

最尤推定は、尤度を最大化する $\theta$ を推定値とする方法です。
最尤推定量・推定値の用語や導出は 最尤推定法 を参照してください。