基礎
定義
機械学習の定義は一つに定まっていないが Mitchell の提唱した タスク、性能指標P、経験E を用いた以下の定義が有名です。
コンピュータプログラムがタスクのクラスTと性能指標Pに関し経験Eから学習するとは、T内のタスクのPで測った性能が経験Eにより改善される事を言う。
ref. 機械学習 - Wikipedia
タスクの種類
代表的なタスクの種類に以下のものがあります。
- 分類
- 密度推定
機械学習の分類
機械学習（Machine Learning）、強化学習（Reinforcement Learning）、深層学習（Deep Learning）の関係を 3 つの軸に分けて整理します。
- 軸 1：学習の手がかり（データの与えられ方）による分類
- 軸 2：アルゴリズム・手法による分類
- 軸 3：LLM の学習段階による分類
軸 1：学習の手がかり（データの与えられ方）による分類
軸 1 は「学習データに何が与えられるか（正解ラベルの有無・報酬の有無）」による分類です。ここでいう「目的・タスク」は、分類・回帰といった問題の種類（前述の「タスクの種類」）ではなく、「何を手がかりに学ぶか」という学習の枠組みを指します。
基本は 3 種類で、その中間や派生にあたる形態として半教師あり学習・自己教師あり学習があります。
| 分類 | 学習の手がかり | 学習のゴール | 具体例 |
|---|---|---|---|
| 教師あり学習（Supervised Learning） | 正解ラベル付きデータ（全件） | 入力から正解を予測できるようにする | 画像分類、価格予測 |
| 教師なし学習（Unsupervised Learning） | ラベルなしデータ（全件） | データの構造やパターンを見つける | クラスタリング、次元削減 |
| 強化学習（Reinforcement Learning） | 環境との試行錯誤と報酬 | 累積報酬を最大化する方策を学ぶ | ゲームAI、ロボット制御 |
| 半教師あり学習（Semi-Supervised Learning） | 少量のラベル付き + 大量のラベルなしデータ | ラベル不足を補いながら教師あり学習と同様に予測する | 医療画像診断、自己学習（Self-Training） |
| 自己教師あり学習（Self-Supervised Learning） | データ自身から自動生成した疑似ラベル | 疑似ラベルを予測する課題を通じて有用な表現を学ぶ | LLM の事前学習（次トークン予測）、マスク言語モデル |
- 半教師あり学習：教師あり学習と教師なし学習の中間に位置します。ラベル付けのコストが高い分野で、ラベルなしデータを有効活用する目的で使われます。代表的な手法の自己学習（Self-Training）は、モデル自身が予測したラベルを疑似的な正解として使います。
- 自己教師あり学習：人間がラベルを付けず、データ自身から「正解」を自動生成して学習します。分類上は教師なし学習の一種、または独立したカテゴリとして扱われます。
ラベルの使い方の比較
| 分類 | ラベル付きデータ | ラベルなしデータ |
|---|---|---|
| 教師あり学習 | 使う（全件） | 使わない |
| 半教師あり学習 | 使う（少量） | 使う（大量） |
| 教師なし学習 | 使わない | 使う（全件） |
| 自己教師あり学習 | 使わない（データ自身から自動生成） | 使う（全件） |
軸 2：アルゴリズム・手法による分類
軸 2 は軸 1 の学習の手がかり（教師あり・教師なし・強化学習など）に基づく学習を、具体的にどんなアルゴリズムで実現するかという軸です。
- 教師あり学習で使う手法
- 教師なし学習で使う手法
- k-means（クラスタリング）
- 主成分分析（PCA）
- 深層学習（オートエンコーダ、GANなど）
- 強化学習で使う手法
- Q学習、方策勾配法など
- 深層学習（深層強化学習）
多くの手法は特定の学習の枠組みで使われますが、深層学習は教師あり学習だけでなく、教師なし学習・強化学習にも幅広く使える代表的な手法です。
\[\begin{aligned} 教師あり学習 \times 深層学習 \Rightarrow CNN（画像認識）、Transformer（翻訳） \\ 教師なし学習 \times 深層学習 \Rightarrow オートエンコーダ、GAN \\ 強化学習 \times 深層学習 \Rightarrow 深層強化学習（Deep RL） \end{aligned}\]深層強化学習（Deep RL）：ニューラルネットワークで状態を表現・近似することで、囲碁やAtariゲームのような複雑な環境でも学習可能にした手法（例:AlphaGo）。
手法 × 学習の手がかり（軸 1）の対応表
| 手法 | 教師あり | 教師なし | 強化学習 |
|---|---|---|---|
| 回帰分析 | ○（回帰問題） | - | - |
| 決定木・ランダムフォレスト | ○ | △（一部応用） | - |
| SVM | ○ | △（異常検知など） | - |
| k-means | - | ○（クラスタリング） | - |
| 深層学習 | ○（CNN, Transformer） | ○（GAN, AE） | ○（深層強化学習） |
深層学習だけが特別扱いされているわけではなく、「LLMの文脈につながるため深掘りしている」だけです。実務では、データ量や解釈性の要件に応じて、決定木系・回帰分析・深層学習などを使い分けます。
軸 1・軸 2 の統合図
軸 3：LLM の学習段階による分類
LLM は単一の学習パラダイムではなく、複数の学習段階を組み合わせて作られています。
| 段階 | 学習の種類（軸 1 との対応） | 内容 |
|---|---|---|
| 1. 事前学習（Pretraining） | 自己教師あり学習 | テキスト自体から自動生成した「正解」で次の単語を予測 |
| 2. 指示チューニング（SFT） | 教師あり学習 | 人間が作った「質問→模範解答」ペアで学習 |
| 3. RLHF（人間フィードバック学習） | 強化学習 | 人間の評価から報酬モデルを作り、報酬最大化するよう調整 |
LLM は
教師あり学習だけではなく、自己教師あり学習→教師あり学習→強化学習という 3 段階のハイブリッド構成になっています。
補足：段階 3 は代表的には RLHF ですが、DPO のように明示的な強化学習を使わずに人間の選好を反映する手法もあります。
全体まとめ表
| 概念 | 軸 | 位置づけ |
|---|---|---|
| 機械学習 | 学習の手がかりによる分類の最上位 | データから学ぶアプローチ全般 |
| 教師あり学習/教師なし学習/強化学習 | 学習の手がかりによる分類 | 機械学習の 3 大アプローチ |
| 半教師あり学習/自己教師あり学習 | 学習の手がかりによる分類 | 3 大アプローチの中間・派生形態 |
| 回帰分析/決定木/ランダムフォレスト等 | 手法による分類 | 主に教師あり学習を実現するアルゴリズム群 |
| 深層学習 | 手法による分類（横断的に使える代表的手法） | 教師あり/教師なし/強化学習のいずれにも適用できる技術 |
| 深層強化学習 | 軸 1 × 軸 2 の交差 | 強化学習 × 深層学習 |
| LLM | 軸 1〜3 の統合 | 自己教師あり学習 + 教師あり学習（SFT） + 強化学習（RLHF 等） の組み合わせ |