線形写像

写像 $f: \mathbb{R}^n \to \mathbb{R}^m$ が次の2条件を満たすなら線形写像である。

  • 加法性: $f(\boldsymbol{x} + \boldsymbol{y}) = f(\boldsymbol{x}) + f(\boldsymbol{y})$
  • 斉次性: $f(c\boldsymbol{x}) = c f(\boldsymbol{x})$($c \in \mathbb{R}$)

このとき $f(\boldsymbol{0}) = \boldsymbol{0}$ が成り立つ。

線形写像は、$(n, m)$ 行列 $W$ を用いて、行ベクトル $\boldsymbol{x}$ に対し

\[f(\boldsymbol{x}) = \boldsymbol{x}W\]

と表せる。

アフィン写像

線形写像に定ベクトルを加えた写像をアフィン写像という。

\[f(\boldsymbol{x}) = \boldsymbol{x}W + \boldsymbol{b}\]

$\boldsymbol{b} \neq \boldsymbol{0}$ のとき $f(\boldsymbol{0}) = \boldsymbol{b} \neq \boldsymbol{0}$ となり、線形写像ではない。線形写像はアフィン写像の特別な場合($\boldsymbol{b} = \boldsymbol{0}$)である。

補足

ニューラルネットワークの全結合層は、バイアスを含むため厳密にはアフィン写像であり、慣習的に「線形層」と呼ばれる。