線形回帰
1. 前提と題材
サンプル数を $n$、特徴量数を $d$ とします。
実践面の題材としては、Kaggle の House Prices(住宅価格予測、訓練データ 1460 行)のような表形式データのコンペティションを想定しています。後半の「競技」「本題材」はこの題材を指します。
2. 記法
| 記号 | 意味 | 形 |
|---|---|---|
| $X$ | 特徴量行列($i$ 行目がサンプル $i$ の特徴量 $\mathbf{x}_i$) | $n \times d$ |
| $\mathbf{y}$ | 正解(目的変数)のベクトル | $n \times 1$ |
| $\mathbf{w}$ | 重み(学習で求める) | $d \times 1$ |
| $b$ | 切片(学習で求める) | スカラー |
| $\hat{\mathbf{y}}$ | 予測値のベクトル | $n \times 1$ |
| $\mathbf{y} - \hat{\mathbf{y}}$ | 残差(正解と予測の差) | $n \times 1$ |
3. 予測
線形回帰の予測は次式で与えられます。
\[\hat{\mathbf{y}} = X\mathbf{w} + b, \qquad \hat{y}_i = \mathbf{w}^\top \mathbf{x}_i + b\]- $X$ と $\mathbf{y}$ はデータとして与えられる固定値であり、推定の対象は $\mathbf{w}$ と $b$ です
- $\mathbf{w}$ の要素数は特徴量数 $d$ と等しく、サンプル数 $n$ に依存しません。同一の $\mathbf{w}$ をすべてのサンプルで共有します
4. 最小二乗法と MSE
- 最小二乗法:残差の 2 乗和 $\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$ を最小にする重み(最小二乗推定量:least squares estimator, LSE)を求めます
- MSE(平均二乗誤差):その 2 乗和を $n$ で割った値 $\frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$ です
$n$ は定数なので、MSE を最小にする重みと 2 乗和を最小にする重みは一致します。
5. 正規方程式
5.1 前提:切片の扱い
以降、切片 $b$ は特徴量行列に定数列(すべて 1 の列)を加えることで $\mathbf{w}$ に含めて扱います。このとき $\mathbf{w}$ の第 1 要素が切片に相当し、$X$ の列数($\mathbf{w}$ の要素数)は定数列を含めた値となります。記法の簡単のため、この列数も以降は $d$ と書きます。
5.2 導出
\[J(\mathbf{w}) = \|\mathbf{y} - X\mathbf{w}\|^2 = \sum_{i=1}^{n}(y_i - \hat{y}_i)^2\]最小二乗推定量 $\hat{\mathbf{w}}$ は $J$ を最小にする重みなので、勾配を $0$ とおいた方程式を解くことで求められます。この方程式($X^\top X\mathbf{w} = X^\top\mathbf{y}$)を正規方程式と呼びます。
\[\nabla_{\mathbf{w}} J = -2X^\top(\mathbf{y} - X\mathbf{w}) = 0 \quad\Longrightarrow\quad X^\top X\,\mathbf{w} = X^\top \mathbf{y}\]$X^\top X$ が逆行列を持つとき、両辺に左から $(X^\top X)^{-1}$ をかけて、解は次のとおり一意に定まります。
\[\hat{\mathbf{w}} = (X^\top X)^{-1} X^\top \mathbf{y}\]\[\begin{aligned} A A^{-1} = A^{-1} A = I \quad \text{I は単位行列} \\ I\mathbf{x} = \mathbf{x} \quad \forall \mathbf{x} \end{aligned}\]$A = X^\top X$ とおくと、$(X^\top X)^{-1}(X^\top X)\,\mathbf{w} = I\mathbf{w} = \mathbf{w}$ となるので、正規方程式の左辺から $\mathbf{w}$ だけが残り、右辺が解になります。
5.3 解の性質
- 反復的な学習は不要であり、閉じた形で一度に求まります(深層学習における勾配降下法との相違点)
- $J$ のヘッセ行列 $2X^\top X$ は半正定値であり、$J$ は下に凸です。凸関数では停留点が大域的な最小点となるため、上の停留点で $J$ は最小になります
- さらに $X^\top X$ が正定値($X$ の列がすべて一次独立)であれば、$J$ は狭義凸となり、最小点は一意です
6. 最尤推定との関係
誤差が正規分布に従うと仮定します。
\[y_i = \mathbf{w}^\top \mathbf{x}_i + \varepsilon_i,\quad \varepsilon_i \sim N(0, \sigma^2) \quad\Longleftrightarrow\quad y_i \sim N(\mathbf{w}^\top \mathbf{x}_i,\ \sigma^2)\]このとき対数尤度は次式となります。
\[\log L(\mathbf{w}) = n\log\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(y_i - \mathbf{w}^\top \mathbf{x}_i)^2\]第 1 項は $\mathbf{w}$ を含まない定数です。したがって、最大化すべき関数は
\[g(\mathbf{w}) = -\frac{1}{2\sigma^2}\sum_{i=1}^{n}(y_i - \mathbf{w}^\top \mathbf{x}_i)^2\]であり、係数 $-\frac{1}{2\sigma^2}$ は負の定数なので、$g$ の最大化は 2 乗和の最小化と同値です。ゆえに、誤差が正規分布に従うと仮定した最尤推定は、最小二乗法と一致します。
一変量正規分布の最尤推定との対応は次のとおりです。
| 一変量正規分布 | 回帰 |
|---|---|
| データ $x_i$ | 正解 $y_i$ |
| 平均 $\mu$(全データ共通で 1 つ) | 予測 $\hat{y}_i = \mathbf{w}^\top \mathbf{x}_i$(サンプルごとに異なる) |
6.1 損失関数と分布の仮定
損失は「条件付き分布 $p(y \mid \mathbf{x})$ をどの分布と仮定するか」によって決まります。
| タスク | 仮定する分布 | 損失 |
|---|---|---|
| 回帰 | 正規分布 | MSE |
| 二値分類 | ベルヌーイ分布 | バイナリ交差エントロピー |
| 多クラス分類 | カテゴリカル分布 | 交差エントロピー |
6.2 誤差分散 $\sigma^2$ の推定
誤差の分散 $\sigma^2$ は尤度に含まれるパラメータですが、$\mathbf{w}$ の推定には影響しません。$\mathbf{w}$ を求めた後、残差から次のように推定できます。
\[\hat{\sigma}^2_{\text{ML}} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2\]これは最尤推定量であり、$\mathbf{w}$ を推定した分だけ自由度が減るため、$\sigma^2$ を過小に見積もる(バイアスを持つ)性質があります。不偏推定量は、推定した重みの数を $d$ として、$\frac{1}{n-d}$ で割った次式です。
\[\hat{\sigma}^2_{\text{unbiased}} = \frac{1}{n-d}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2\]7. 一次独立・一次従属と解の一意性
7.1 基本的な関係
$X$ の $d$ 本の列は、$n$ 次元空間のベクトルとみなせます。$n$ 次元空間において一次独立にできるベクトルは最大 $n$ 本なので、
\[\operatorname{rank}(X) \le \min(n, d)\]が成り立ちます。解 $\mathbf{w}$ が一意に定まる条件は、$\operatorname{rank}(X) = d$($X$ の列がすべて一次独立)であり、これは $X^\top X$ が逆行列を持つことと同値です。
7.2 同値性の確認
- $X$ の列が一次従属($X\mathbf{v} = 0$ となる $\mathbf{v} \ne 0$ が存在)ならば、$X^\top X\mathbf{v} = X^\top(X\mathbf{v}) = 0$ となり、$X^\top X$ も逆行列を持ちません
- 逆に $X^\top X\mathbf{v} = 0$ ならば、$\mathbf{v}^\top X^\top X\mathbf{v} = |X\mathbf{v}|^2 = 0$ より $X\mathbf{v} = 0$ が得られます
したがって、「$X$ の列が一次独立」「$\operatorname{rank}(X) = d$」「$X^\top X$ が逆行列を持つ」は同値です。なお、一次従属かどうかを判定する対象は $X$ の列であって、$X^\top X$($d \times d$ の正方行列)そのものではありません。
7.3 $n$ と $d$ の関係
| 関係 | 連立方程式としての見方($n$ 本の式、$d$ 個の未知数) | $X$ の列 | 解 |
|---|---|---|---|
| $d > n$ | 式が不足する | 必ず一次従属 | 無数に存在し、訓練データを完全に再現できる |
| $d = n$ | 式と未知数が同数 | 独立であれば一意に解ける | 一意に定まるが、訓練誤差は 0(補間) |
| $d < n$ | 式が余る(過剰決定) | 独立の可能性はあるが保証はされない | 独立であれば一意。残差が残るため、最小二乗解を求める |
「式が足りない」(連立方程式の見方)と「列が一次従属」(列ベクトルの見方)は、同一の事実を行と列の異なる側面から述べたものです。$n \ge d$ は一次独立となるための必要条件であって、十分条件ではありません。
7.4 $n \ge d$ でも一次従属となる原因
- 全カテゴリを残した one-hot 表現(同一変数のダミー列の和が常に 1 となり、切片列と重複する)
- 他の列の線形結合として作った特徴量(例:総面積 = 1 階面積 + 2 階面積 + …)
- 定数列、重複列
7.5 一次独立であっても生じる問題(多重共線性)
列がほぼ一次従属である場合(多重共線性)、$X^\top X$ は逆行列を持ちますが、数値的に不安定です。
- $X^\top X$ の最小固有値 $\lambda_{\min}$ が $0$ に近いと、逆行列 $(X^\top X)^{-1}$ には $1/\lambda_{\min}$ という非常に大きな固有値が現れます。このため、$\mathbf{y}$ のわずかな変動(ノイズ)が、重みの大きな変動へと増幅されます
- 最大固有値と最小固有値の比 $\lambda_{\max}/\lambda_{\min}$ を条件数と呼び、これが大きいほど不安定です
- 結果として、重みの絶対値が大きくなり、データのわずかな変化で解が大きく変動します
- $n$ が $d$ に近い場合にも、同様に過剰適合しやすくなります
7.6 対処法
| 対処 | 効果 |
|---|---|
列の削減(drop="first"、重複列・定数列の除去、特徴量選択) |
構造的な従属の解消 |
擬似逆行列(LinearRegression の実装。内部で SVD ベースの scipy.linalg.lstsq を使用) |
一意でない解のうち、重みのノルムが最小のものを選ぶ |
| Ridge(L2 正則化) | $\lambda > 0$ により、必ず逆行列を持つ。列が一次従属でも解が一意に定まる |
| Lasso(L1 正則化) | 不要な特徴量の重みを 0 にする(スパース性)。ただし、列が一次従属の場合に解が一意とは限らない点が Ridge との違い |
| データの追加 | $n$ を増やし、$d$ との差を広げる |
8. 正則化(Ridge)
Ridgeは、2 乗和に重みの大きさへの罰則を加えた関数を最小化します。
\[J_{\text{ridge}}(\mathbf{w}) = \|\mathbf{y} - X\mathbf{w}\|^2 + \lambda\|\mathbf{w}\|^2\]微分して $0$ とおくと
\[(X^\top X + \lambda I)\,\mathbf{w} = X^\top \mathbf{y} \quad\Longrightarrow\quad \hat{\mathbf{w}}_{\text{ridge}} = (X^\top X + \lambda I)^{-1} X^\top \mathbf{y}\]を得ます。
- $\lambda > 0$ ならば $X^\top X + \lambda I$ は必ず逆行列を持つため、列が一次従属であっても、$d > n$ であっても、解は一意に定まります
- $\lambda$ を大きくするほど重みは $0$ に近づき、モデルの実効的な自由度は低下します(過剰適合の抑制)。$\lambda \to 0$ では最小二乗解に近づきます
- 切片は通常、罰則に含めません
- 深層学習では、同じ考え方が weight decay(例:
AdamWのweight_decay)として現れます
8.1 標準化の影響
切片を持つ正則化なしの線形回帰では、列を標準化しても予測値は変わりません(重みの値のみが変わります)。一方、Ridge や Lasso では罰則が重みの大きさに作用するため、標準化の有無によって予測値も変わります。
なお、切片を罰則に含めない Ridge で、列を平均 0 に中心化(標準化に含まれる操作)した場合、切片の推定値は目的変数の平均 $\bar{y}$ に一致します。実装で切片が $\bar{y}$ と等しくなるのはこのためです。
9. パラメータとハイパーパラメータ
| 区分 | 例 | 決め方 |
|---|---|---|
| パラメータ | $\mathbf{w}$、$b$ | 訓練データから損失を最小化して求める |
| ハイパーパラメータ | Ridge の $\lambda$、LightGBM の木の深さなど | 学習の外で決める。交差検証などで選択する |
誤差分散 $\sigma^2$ の推定については 6.2 節を参照してください。
10. 実装上の注意
10.1 特徴量の表現(one-hot)
カテゴリ変数 $a$(3 カテゴリ)と数値変数 $b$ を持つサンプルを考えます。$a$ が 1 番目のカテゴリで $b = 3$ の場合、概念上の特徴量ベクトル(カテゴリ列、数値列の順)は次のとおりです。
\[\mathbf{x} = (1, 0, 0, 3)\]実装(ColumnTransformer)では、数値列、カテゴリ列の順に並ぶため、$(3, 1, 0, 0)$ となります。さらに数値列が標準化されるため(例:平均 5、標準偏差 2 の場合、$3 \to (3-5)/2 = -1$)、モデルに実際に入力されるベクトルは次のとおりです。one-hot 側は変換されません。
- one-hot(ワンホット)が 1 である列の重みのみが予測に寄与するため、カテゴリごとに異なる切片を加える働きをします
- 列順は予測に影響しません
- 欠損は “Missing” というカテゴリで補完するため、列が 1 つ増えます
10.2 データ漏洩(リーク)への注意
補完値や標準化の平均・標準偏差を全データで計算すると、検証データの情報が学習側に漏れます(データ漏洩)。前処理は各 fold の学習データのみで fit する必要があります(Pipeline と ColumnTransformer を用いることで実現できます)。外れ値の除外も、評価に用いる検証側の行は残しておきます。
10.3 一次従属の確認コード
Xt = pre.fit_transform(X)
Xt = Xt.toarray() if hasattr(Xt, "toarray") else Xt # 疎行列なら密行列に変換
A = np.c_[np.ones(len(Xt)), Xt] # 切片列を加える
print("形:", A.shape, " rank:", np.linalg.matrix_rank(A))
rank が列数($d + 1$)より小さければ列は一次従属であり、その差が冗長な列の本数に相当します。
11. 競技者間で結果が分かれる要因
$X^\top X$ が逆行列を持つ場合、同一の $X$ と $\mathbf{y}$ を用いれば、全員が同一の $\mathbf{w}$ を得ます(乱数も初期値も存在しません)。したがって、結果の差は次の要因から生じます。
| 要因 | 例 |
|---|---|
| 列(特徴量)の選択・作成 | 欠損の多い列の除外、欠損の補完方法、順序カテゴリの数値化、総面積・築年数などの新特徴量、偏った数値列の対数変換、型の修正(MSSubClass など) |
| 行(サンプル)の選択 | 外れ値の除外(広いのに安い数行など)。2 乗誤差は少数の外れ値の影響を受けやすい。除外できるのは train のみであり、test の行は除外できない |
| 目的変数の変換 | log1p の有無 |
| モデルと正則化 | Ridge・Lasso・LightGBM の選択と $\lambda$ などの値 |
| アンサンブル | 複数モデルの平均など |
| 検証の設計 | 分割数、繰り返しの有無 |
訓練データ上で最小の誤差を与える解が、未知のデータで最良であるとは限りません。このため、競技では検証データ上の性能に基づく特徴量・モデル・正則化の選択が、順位を分ける主要因となります。
12. 過剰適合の見え方と確認事項
- 自由度の高いモデルでは、訓練誤差は極めて小さくなりますが、未知データに対する誤差は大きくなります(過剰適合)
- 本題材では、5 分割交差検証により、1 回の学習に用いる行数は約 1168 行(1460 の 4/5)です。one-hot 後の特徴量数 $d$ は数百に達するため、$d < n$ であっても $d/n$ は小さくありません。訓練誤差と検証誤差の差が、過剰適合の程度を示します
- 全カテゴリを残した one-hot であるため、$X$ の列は構造的に一次従属となります(確認方法は 10.3 節)
13. 要点
- 線形回帰で推定するのは重み $\mathbf{w}$($d$ 個)と切片 $b$ であり、$X$ と $\mathbf{y}$ は固定のデータです
- 最小二乗法は、誤差に正規分布を仮定した最尤推定と一致します
- 解は正規方程式 $X^\top X\mathbf{w} = X^\top\mathbf{y}$ により閉じた形で求まり、$X$ の列が一次独立であれば一意です
- $d > n$、one-hot の全カテゴリ保持、線形結合による特徴量の作成は、列を一次従属にします
- 列がほぼ一次従属の場合(多重共線性)は、条件数が大きくなり、解が不安定になります
- Ridge は $\lambda I$ を加えることで解を一意にし、同時に過剰適合を抑えます
- 競技における差は、$X$ の構成(列・行の選択)、モデル、正則化、検証設計から生じます