基礎 | Deep Learning
定義
機械学習の定義は一つに定まっていないが Mitchell の提唱した タスク、性能指標P、経験E を用いた以下の定義が有名です。
コンピュータプログラムがタスクのクラスTと性能指標Pに関し経験Eから学習するとは、T内のタスクのPで測った性能が経験Eにより改善される事を言う。
ref. https://ja.wikipedia.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92
タスクの種類
代表的なタスクの種類に以下のものがあります。
- 分類
- 回帰
- 密度推定
機械学習の分類
機械学習、強化学習、深層学習、の関係を、2つの軸に分けて整理します。
軸 1：学習の目的・タスクによる分類
機械学習は 3 種類のアプローチがあります。
| 分類 | 特徴 | 具体例 |
|---|---|---|
| 教師あり学習 | 正解ラベル付きデータから学ぶ | 画像分類、価格予測 |
| 教師なし学習 | 正解ラベルなしでデータの構造を見つける | クラスタリング |
| 強化学習（RL） | 試行錯誤と報酬を通じて方策を学ぶ | ゲームAI、ロボット制御 |
軸 2：アルゴリズム・手法による分類
軸 2は軸 1 の目的（教師あり学習など）を、具体的にどんなアルゴリズムで実現するかという軸です。
- 教師あり学習（目的）
- 回帰分析（線形回帰・ロジスティック回帰など）
- 決定木（Decision Tree）
- ランダムフォレスト（決定木のアンサンブル）
- SVM（サポートベクターマシン）
- k近傍法（k-NN）
- 勾配ブースティング（（XGBoost, LightGBMなど）
- 深層学習（ニューラルネットワーク）
上記アルゴリズムで深層学習だけは教師あり学習だけでなく、教師なし学習・強化学習にも横断的に使えるという特徴があります。
\[\begin{aligned} 教師あり学習 \times 深層学習 \Rightarrow CNN（画像認識）、Transformer（翻訳） \\ 教師なし学習 \times 深層学習 \Rightarrow オートエンコーダ、GAN \\ 強化学習 \times 深層学習 \Rightarrow 深層強化学習（Deep RL） \end{aligned}\]深層強化学習（Deep RL）：ニューラルネットワークで状態を表現・近似することで、囲碁やAtariゲームのような複雑な環境でも学習可能にした手法（例:AlphaGo）。
目的×手法の対応表
| 手法 | 教師あり | 教師なし | 強化学習 |
|---|---|---|---|
| 回帰分析 | ○（回帰問題） | - | - |
| 決定木・ランダムフォレスト | ○ | △（一部応用） | △（方策木など） |
| SVM | ○ | △（異常検知など） | - |
| k-means | - | ○（クラスタリング） | - |
| 深層学習 | ○（CNN, Transformer） | ○（GAN, AE） | ○（深層強化学習） |
深層学習だけが特別扱いされているわけではなく、「LLMの文脈につながるため深掘りしている」だけです。実務では、データ量や解釈性の要件に応じて、決定木系・回帰分析・深層学習などを使い分けます。
軸 1・軸 2 の統合図
軸 3：LLM の学習段階による分類
LLMは単一の学習パラダイムではなく、複数の学習段階を組み合わせ*作られています。
| 段階 | 学習の種類（軸1との対応） | 内容 |
|---|---|---|
| 1. 事前学習（Pretraining） | 自己教師あり学習 | テキスト自体から自動生成した「正解」で次の単語を予測 |
| 2. 指示チューニング（SFT） | 教師あり学習 | 人間が作った「質問→模範解答」ペアで学習 |
| 3 RLHF（人間フィードバック学習） | 強化学習 | 人間の評価から報酬モデルを作り、報酬最大化するよう調整 |
LLM は
教師あり学習だけではなく、自己教師あり学習→教師あり学習→強化学習という3段階のハイブリッド構成になっています。
全体まとめ表
| 概念 | 軸 | 位置づけ |
|---|---|---|
| 機械学習 | 目的による分類の最上位 | データから学ぶアプローチ全般 |
| 教師あり学習/教師なし学習/強化学習 | 目的による分類 | 機械学習の3大アプローチ |
| 回帰分析/決定木/ランダムフォレスト等 | 手法による分類 | 主に教師あり学習を実現するアルゴリズム群 |
| 深層学習 | 手法による分類（唯一横断的） | 教師あり/教師なし/強化学習すべてに適用できる技術 |
| 深層強化学習 | 軸1×軸2の交差 | 強化学習 × 深層学習 |
| LLM | 軸1〜3の統合 | 自己教師あり学習 + 教師あり学習（SFT） + 強化学習（RLHF） の組み合わせ |
ポイント
- 軸 1（目的）と軸 2（手法）は独立した分類軸であり、交差して使われる（例:深層強化学習）
- 軸 2 は深層学習だけでなく、回帰分析・決定木・ランダムフォレストなども含む広いアルゴリズム群であり、深層学習はその中の「教師なし学習・強化学習にも使える唯一横断的な手法」という位置づけ
- LLMは特定の学習パラダイム1つに属さない複数フェーズのハイブリッドモデルである