学習アルゴリズムが実際に最小化（または最大化）しようとする関数を目的関数と呼びます。
代表的な目的関数に損失関数に正則化項などを加えた関数があります。

関連用語の整理

用語 役割
損失関数（loss function） 1つのデータ点に対する予測と正解の誤差を測る関数（例：交差エントロピー、二乗誤差）
コスト関数（cost function） 損失関数をデータセット全体で平均・合計したもの
目的関数（objective function） 損失関数 + 正則化項など、最適化のターゲットとなる関数全体

基本式

\[目的関数 = 損失関数（誤差） + 正則化項\]

例：L2 正則化

\[目的関数 = \underbrace{交差エントロピー(予測, 正解)}_{損失関数（誤差そのもの）} + \underbrace{\lambda \times \sum W^2}_{正則化項（誤差ではない）}\]

目的関数が必要な理由

  • 誤差（損失）だけでは、正則化項のようなモデルを単純に保つ制約を含められない
  • 誤差と制約を 1 つの数値にまとめることで、勾配降下法などの最適化アルゴリズムが機械的に微分・更新できる

LLM の文脈における目的関数