線形代数
線形独立・線形従属(一次独立・一次従属)
ベクトル空間 $V$ のベクトル $\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n$ が線形独立なら以下を満たします。
\[c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_n\mathbf{v}_n = \mathbf{0} \implies c_1 = c_2 = \cdots = c_n = 0\]これらの線形結合がゼロベクトルになるのは、係数がすべて $0$ の場合に限られます。
線形独立でないとき、線形従属と言います。。線形従属なら少なくとな 1 つは $0$ でない係数 $c_i$ が存在します。
\[c_1\mathbf{v}_1 + \cdots + c_n\mathbf{v}_n = \mathbf{0}\]イメージ
線形独立の場合、のベクトルも、他のベクトルの組み合わせでは作れなと言えます。
例:平面で $(1, 0)$ と $(0, 1)$ は独立、$(1, 2)$ と $(2, 4)$ は同じ方向なので従属です。
線形空間の rank と回帰分析のまとめ
1. $\operatorname{rank}(X)$ とは
$\operatorname{rank}(X)$ は、$X$ の線形独立な列(または行)の最大本数です。列空間の次元に等しくなります。
- 行ランクと列ランクは一致します
- $m \times n$ 行列なら $\operatorname{rank}(X) \le \min(m, n)$ です。等号が成り立つときはフルランクといいます
- 求め方は、掃き出し法で階段行列にして 0 でない行の数を数えます
- 線形写像では、次元定理 $\dim V = \operatorname{rank}(f) + \dim(\operatorname{Ker} f)$ が成り立ちます
2. 行の従属と列の従属は別物です
| 起こる条件 | 回帰への影響 | |
|---|---|---|
| 行の従属 | $n > d$ なら必ず起こります(少なくとも $n - d$ 本は他の行の線形結合です) | 問題ありません |
| 列の従属 | $\operatorname{rank}(X) < d$ | 多重共線性が生じます。$X^\top X$ が正則でなくなり、解が一意に決まりません |
- 従属は定数倍に限らず、線形結合であればよいです
- $X^\top X$ が正則であることと $\operatorname{rank}(X) = d$(列が線形独立)は同値です
- 例として次の $X$ は行が従属していますが、列は独立なので $X^\top X$ は正則です
3. ダミー変数とダミー変数トラップ
ダミー変数とは
ダミー変数は、カテゴリ(質的データ)を 0 と 1 の数値で表した変数です。回帰分析では数値しか扱えないため、色のような文字のカテゴリを数値に直すために使います。
| 色 | 赤ダミー | 青ダミー | 緑ダミー |
|---|---|---|---|
| 赤 | 1 | 0 | 0 |
| 青 | 0 | 1 | 0 |
| 緑 | 0 | 0 | 1 |
- 赤ダミーは、赤なら 1、それ以外は 0 を表します。青と緑も同様です
- カテゴリごとに 0 と 1 の列を作る方法を one-hot 表現といいます
ダミー変数トラップ
全カテゴリを one-hot にして切片も入れると、次のようになります。
\[\mathbf{1} = \mathbf{x}_{\text{赤}} + \mathbf{x}_{\text{青}} + \mathbf{x}_{\text{緑}}\]ここで $\mathbf{1}$ は切片列(すべて 1 の列)です。移項すると次の関係になり、4 本の列が一次従属になります。
\[\mathbf{x}_{\text{赤}} + \mathbf{x}_{\text{青}} + \mathbf{x}_{\text{緑}} - \mathbf{1} = \mathbf{0}\]- $\operatorname{rank}(X) = 3 < 4$ なので $X^\top X$ は逆行列をもちません
- 係数が一意に決まりません(例:切片を $+5$ にして、ダミー係数をすべて $-5$ にしても予測は同じです)
対処法
- 1 カテゴリを除きます(基準カテゴリ)。$k$ カテゴリなら $k - 1$ 個のダミーを使います。最も一般的で、解釈も明確です
- 切片を外します。各ダミーの係数がそのカテゴリの平均になります
- 正則化(Ridge など)を使います
切片を外すと係数がカテゴリの平均になる理由
切片を入れずに 3 つのダミーだけで回帰すると、モデルは次の形になります。
\[y = \beta_{\text{赤}} \, x_{\text{赤}} + \beta_{\text{青}} \, x_{\text{青}} + \beta_{\text{緑}} \, x_{\text{緑}}\]- 赤のデータでは $x_{\text{赤}} = 1$ で他は 0 なので、予測値は $\beta_{\text{赤}}$ だけになります
- 最小二乗法では、予測値が赤のデータの $y$ の平均に最も近くなるので、$\beta_{\text{赤}}$ は赤の平均になります。青と緑も同様です
- 各ダミーが、そのカテゴリ専用の切片の役割を果たしています
- ほかの説明変数(例:年齢)が入る場合は、単純な平均ではなく、その変数を調整したうえでのカテゴリごとの水準になります
4. Ridge 回帰
通常の最小二乗法の解は次のとおりです。
\[\hat{\beta} = (X^\top X)^{-1} X^\top y\]Ridge 回帰の解は次のとおりです($\lambda > 0$)。
\[\hat{\beta}_{\text{ridge}} = (X^\top X + \lambda I)^{-1} X^\top y\]- 列が従属していると $X^\top X$ に固有値 0 が現れ、これが正則でない原因になります
- $\lambda I$ を足すと、すべての固有値が $\lambda$ 以上になり、逆行列が存在して解が一意になります
- 直感的には、予測が同じ係数の組が無数にあっても、係数が最も小さい組が選ばれます。目的関数は次のとおりです
注意点
- 係数は 0 の方向に縮みます(バイアスが生じます)
- $\lambda$ は交差検証で決めるのが一般的です
- 切片には通常罰則をかけません
- 全カテゴリを残したままでも計算できますが、解釈のしやすさでは 1 つ落とす方法のほうが優れています
要点
- $X^\top X$ が正則かどうかは、列の独立性($\operatorname{rank}(X) = d$)で決まります
- 行の従属は $n > d$ なら自然に起こるので、気にしなくてよいです
- ダミー変数は $k - 1$ 個にするのが基本です