線形独立・線形従属(一次独立・一次従属)

ベクトル空間 $V$ のベクトル $\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n$ が線形独立なら以下を満たします。

\[c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_n\mathbf{v}_n = \mathbf{0} \implies c_1 = c_2 = \cdots = c_n = 0\]

これらの線形結合がゼロベクトルになるのは、係数がすべて $0$ の場合に限られます。

線形独立でないとき、線形従属と言います。。線形従属なら少なくとな 1 つは $0$ でない係数 $c_i$ が存在します。

\[c_1\mathbf{v}_1 + \cdots + c_n\mathbf{v}_n = \mathbf{0}\]

イメージ

線形独立の場合、のベクトルも、他のベクトルの組み合わせでは作れなと言えます。

  • 線形独立:それぞれが新しい方向を持っている(無駄がない)
  • 線形従属:どれかが他のベクトルで作れてしまう(無駄がある)

例:平面で $(1, 0)$ と $(0, 1)$ は独立、$(1, 2)$ と $(2, 4)$ は同じ方向なので従属です。

線形空間の rank と回帰分析のまとめ

1. $\operatorname{rank}(X)$ とは

$\operatorname{rank}(X)$ は、$X$ の線形独立な列(または行)の最大本数です。列空間の次元に等しくなります。

  • 行ランクと列ランクは一致します
  • $m \times n$ 行列なら $\operatorname{rank}(X) \le \min(m, n)$ です。等号が成り立つときはフルランクといいます
  • 求め方は、掃き出し法で階段行列にして 0 でない行の数を数えます
  • 線形写像では、次元定理 $\dim V = \operatorname{rank}(f) + \dim(\operatorname{Ker} f)$ が成り立ちます

2. 行の従属と列の従属は別物です

  起こる条件 回帰への影響
行の従属 $n > d$ なら必ず起こります(少なくとも $n - d$ 本は他の行の線形結合です) 問題ありません
列の従属 $\operatorname{rank}(X) < d$ 多重共線性が生じます。$X^\top X$ が正則でなくなり、解が一意に決まりません
  • 従属は定数倍に限らず、線形結合であればよいです
  • $X^\top X$ が正則であることと $\operatorname{rank}(X) = d$(列が線形独立)は同値です
  • 例として次の $X$ は行が従属していますが、列は独立なので $X^\top X$ は正則です
\[X = \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{pmatrix}, \qquad X^\top X = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}, \qquad \det(X^\top X) = 3 \neq 0\]

3. ダミー変数とダミー変数トラップ

ダミー変数とは

ダミー変数は、カテゴリ(質的データ)を 0 と 1 の数値で表した変数です。回帰分析では数値しか扱えないため、色のような文字のカテゴリを数値に直すために使います。

色 赤ダミー 青ダミー 緑ダミー
赤 1 0 0
青 0 1 0
緑 0 0 1
  • 赤ダミーは、赤なら 1、それ以外は 0 を表します。青と緑も同様です
  • カテゴリごとに 0 と 1 の列を作る方法を one-hot 表現といいます

ダミー変数トラップ

全カテゴリを one-hot にして切片も入れると、次のようになります。

\[\mathbf{1} = \mathbf{x}_{\text{赤}} + \mathbf{x}_{\text{青}} + \mathbf{x}_{\text{緑}}\]

ここで $\mathbf{1}$ は切片列(すべて 1 の列)です。移項すると次の関係になり、4 本の列が一次従属になります。

\[\mathbf{x}_{\text{赤}} + \mathbf{x}_{\text{青}} + \mathbf{x}_{\text{緑}} - \mathbf{1} = \mathbf{0}\]
  • $\operatorname{rank}(X) = 3 < 4$ なので $X^\top X$ は逆行列をもちません
  • 係数が一意に決まりません(例:切片を $+5$ にして、ダミー係数をすべて $-5$ にしても予測は同じです)

対処法

  1. 1 カテゴリを除きます(基準カテゴリ)。$k$ カテゴリなら $k - 1$ 個のダミーを使います。最も一般的で、解釈も明確です
  2. 切片を外します。各ダミーの係数がそのカテゴリの平均になります
  3. 正則化(Ridge など)を使います

切片を外すと係数がカテゴリの平均になる理由

切片を入れずに 3 つのダミーだけで回帰すると、モデルは次の形になります。

\[y = \beta_{\text{赤}} \, x_{\text{赤}} + \beta_{\text{青}} \, x_{\text{青}} + \beta_{\text{緑}} \, x_{\text{緑}}\]
  • 赤のデータでは $x_{\text{赤}} = 1$ で他は 0 なので、予測値は $\beta_{\text{赤}}$ だけになります
  • 最小二乗法では、予測値が赤のデータの $y$ の平均に最も近くなるので、$\beta_{\text{赤}}$ は赤の平均になります。青と緑も同様です
  • 各ダミーが、そのカテゴリ専用の切片の役割を果たしています
  • ほかの説明変数(例:年齢)が入る場合は、単純な平均ではなく、その変数を調整したうえでのカテゴリごとの水準になります

4. Ridge 回帰

通常の最小二乗法の解は次のとおりです。

\[\hat{\beta} = (X^\top X)^{-1} X^\top y\]

Ridge 回帰の解は次のとおりです($\lambda > 0$)。

\[\hat{\beta}_{\text{ridge}} = (X^\top X + \lambda I)^{-1} X^\top y\]
  • 列が従属していると $X^\top X$ に固有値 0 が現れ、これが正則でない原因になります
  • $\lambda I$ を足すと、すべての固有値が $\lambda$ 以上になり、逆行列が存在して解が一意になります
  • 直感的には、予測が同じ係数の組が無数にあっても、係数が最も小さい組が選ばれます。目的関数は次のとおりです
\[\min_{\beta} \; \lVert y - X\beta \rVert^2 + \lambda \lVert \beta \rVert^2\]

注意点

  • 係数は 0 の方向に縮みます(バイアスが生じます)
  • $\lambda$ は交差検証で決めるのが一般的です
  • 切片には通常罰則をかけません
  • 全カテゴリを残したままでも計算できますが、解釈のしやすさでは 1 つ落とす方法のほうが優れています

要点

  • $X^\top X$ が正則かどうかは、列の独立性($\operatorname{rank}(X) = d$)で決まります
  • 行の従属は $n > d$ なら自然に起こるので、気にしなくてよいです
  • ダミー変数は $k - 1$ 個にするのが基本です