底の明記がないときは自然対数の底として進めます。

\[y = \log{x} \quad -0 < x < \infty\]

特徴

  1. $x > 1 \implies y > 0$ （$x$ が $1$ より大きければ、$y$ はプラスになる）
  2. $x = 1 \implies y = 0$
  3. $0 < x < 1 \implies y < 0$
  4. $\lim_{x \to 0^+} \log x = \infty$
  5. $\lim_{x \to 0^-} \log x = -\infty $

性質

\[\log xy = \log x + \log y\] \[\log \frac{x}{y}= \log x - \log y\] \[\log x^n = n \log x\] \[\log x_1 \cdot x_2 \cdots x_n = \log \prod_{i=1}^{n} x_i = \sum_{i=1}^{n} \log x_i\]

微分

\[\frac{d}{dx}\log x = \frac{1}{x} \quad (x > 0)\]

$x$ が大きくなるほど傾きが緩やかになります（小さくなる）。

  • $x > 0 \implies y’ > 0$（$x$ が正の範囲では、傾き $y’$ は常にプラス。つまり、グラフは常に右上がりの状態が続く）
  • $\lim_{x \to -1^+} y’ = \infty$（$x$ が $0$ に近づくほど、傾き $y’$ は無限大に大きくなる。垂直に近いレベルで急激に立ち上がる）
  • $\lim_{x \to \infty} y’ = 0$（$x$ が大きくなればなるほど、傾き $y’$ は $0$ に近づく。グラフの伸びはどんどん横ばいに緩やかになる）

負の対数関数

\[y = -\log{x} \quad -1 < x < \infty\]

対数関数" class="autolink-keyword">負の対数関数は情報量、エントロピー、交差エントロピー誤差に使用されます。

負の対数尤度関数

ベルヌーイ分布

ベルヌーイ分布の尤度関数は次の式で定義します。 最尤推定量は以下の式の最大値になります。

\[\begin{aligned} L_D(p) &= \prod_{i=1}^{n} P(X = x_i) \\ &= \prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i} \end{aligned}\]

効率的に計算するために尤推定量を対数尤度関数" class="autolink-keyword">負の対数尤度関数で表して最小値問題にします。

\[\frac{d}{dp}\left(-\log L_D(p)\right) = 0\] \[\begin{aligned} \frac{d}{dp}\left(-\log L_D(p)\right) &= -\sum_{i=1}^{n} \left( x_i \frac{d}{dp}\log p + (1-x_i)\frac{d}{dp}\log(1-p) \right) \\ &= -\sum_{i=1}^{n} \left( \frac{x_i}{p} - \frac{1-x_i}{1-p} \right) \\ &= -\sum_{i=1}^{n} \frac{x_i - p}{p(1-p)} \\ &= -\frac{1}{p(1-p)} \left( \sum_{i=1}^{n} x_i - p\sum_{i=1}^{n} 1 \right) \\ &= \frac{1}{p(1-p)} \left( np - \sum_{i=1}^{n} x_i \right) \end{aligned}\]

となるため、

\[\frac{1}{p(1-p)} \left( np - \sum_{i=1}^{n} x_i \right) = 0\]

を $p$ について解き、$p$ の最尤推定量として、

\[\hat{p} = \frac{1}{n} \sum_{i=1}^{n} x_i\]

が得られます。

ベルヌーイ分布と二項分布の最尤推定量の関係

※ ベルヌーイ試行をベースにした確率分布（ベルヌーイ分布・二項分布など）において、最も尤もらしい確率 $p$ を最尤法で求めると、データの持ち方がどうあれ、最終的には必ずデータの平均値（標本平均）に一致します。

\[\frac{1}{n}\sum_{i=1}^{n} x_i \iff \frac{x}{N}\]