Deep Learningにおける量子化とSTE（Straight-Through Estimator）解説

ディープラーニングモデルの実用化（エッジデバイスへの実装や高速化）において不可欠な技術である「量子化（Quantization）」と、その学習を可能にする「STE（Straight-Through Estimator）」の仕組みについて解説します。

1. 量子化の概要

量子化とは

量子化とは、ディープラーニングモデルの重み（Weights）や活性化関数（Activations）のパラメータ精度を、通常の32ビット浮動小数点数（FP32）から、より低ビットな整数（INT8やINT4など）に低減する技術です。

導入の目的とメリット

メモリサイズの削減（軽量化）: FP32からINT8への変換により、モデルのファイルサイズや実行時のメモリ占有率が約4分の1に削減されます。これにより、メモリ容量の乏しいスマートフォンや組み込みデバイス（エッジAI）への搭載が可能になります。
推論速度の高速化（省電力化）: ハードウェア（CPU/GPU/TPUなど）は、浮動小数点演算よりも整数演算（INT8など）の方が圧倒的に高速かつ省電力で処理できます。結果として、単位時間あたりのスループットが向上し、バッテリー消費も抑えられます。

2. 具体的にどう変換するか（量子化のメカニズム）

単に実数を四捨五入して整数にすると、多くの情報（特に小さな値）が 0 に潰れてしまいます。そのため、実際の量子化では「スケール（$S$：縮尺）」と「ゼロポイント（$Z$：基準点）」というパラメータを用いて、実数の分布を整数の範囲に綺麗にマッピング（対応付け）します。

ここでは、最も直感的な「対称量子化（Symmetric Quantization）」を例に挙げて説明します。

量子化のステップ

ある重み行列のデータが $-2.0$ から $+2.0$ までの範囲（FP32）に分布しており、これを INT8（$-127$ 〜 $127$） にマッピングする場合を考えます。

① スケール（$S$）の計算

実数の絶対値の最大値を、INT8の最大値に対応させるための倍率を求めます。 $S = \frac{\text{実数の最大値}}{\text{INT8の最大値}} = \frac{2.0}{127} \approx 0.0157$

② 量子化の計算（FP32 → INT8）

各FP32の数値をスケール $S$ で割り、四捨五入（round）して整数に変換します。 $\text{INT8の値} = \text{round}\left( \frac{\text{FP32の値}}{S} \right)$

FP32が 2.0 の場合: $\text{round}(2.0 / 0.0157) \rightarrow$ 127
FP32が 0.5 の場合: $\text{round}(0.5 / 0.0157) \rightarrow \text{round}(31.8) \rightarrow$ 32
FP32が -1.0 の場合: $\text{round}(-1.0 / 0.0157) \rightarrow \text{round}(-63.6) \rightarrow$ -64

③ 推論と逆量子化

モデルの推論時は、このINT8に変換された重み行列を用いて高速に整数演算（行列積など）を行います。そして、すべての計算が終わった最後の段階で、計算結果にスケール $S$ を掛け戻すことで、元のFP32に近いスケールに復元（逆量子化）します。 $\text{復元された値} = \text{INT8の値} \times S$

3. 問題点と STE（Straight-Through Estimator）での解消

量子化を伴う学習における問題点

量子化をモデルの学習（トレーニング）中に導入しようとすると、ディープラーニングの基盤である誤差逆伝播法（バックプロパゲーション）が破綻するという致命的な問題が生じます。

量子化の処理（四捨五入や床関数）は、グラフで表すと「ガタガタの階段状の関数（ステップ関数）」になります。

平らな部分の傾き（微分値）はすべて 0 になります。
段差の境界線では微分不可能（無限大） になります。

バックプロパゲーションでは、損失関数のエラーを各層の「勾配（傾き）」を掛け合わせながら逆方向に伝播させますが、傾きがどこもかしこも 0 になってしまうため、「勾配消失」が発生してネットワークの重みが一切更新されなくなり、学習が進まなくなります。

STE（Straight-Through Estimator）による解消

この問題を解決するために考案されたのが、STE（ストレートスルーエスティメーター）という一種の疑似的な計算トリックです。

アイデアは非常にシンプルで、「順伝播（Forward）と逆伝播（Backward）で異なる関数を適用する（嘘をつく）」というものです。

【 順伝播 (Forward) 】
 [FP32の重み] ──► ( 量子化関数：round ) ──► [INT8の重み] ──► 次の層へ
 ※ 量子化ノイズを含んだ状態でのロス（誤差）を正しく評価する

【 逆伝播 (Backward) 】
 [元の層へ勾配] ◄── ( 勾配をそのまま素通り ) ◄── [上の層からの勾配]
 ※ 階段関数の微分の代わりに、恒等関数 y = x （傾き 1）とみなして直通させる

順伝播（Forward）: 通常通りFP32をINT8に量子化して計算します。これにより、「量子化された粗いパラメータ」が推論に与える影響やノイズを正しく考慮した損失（Loss）が計算されます。
逆伝播（Backward）: 階段関数を完全に無視し、まるで「傾きが 1 の直線（恒等関数 $y=x$）」であったかのように、上の層から流れてきた勾配をそのまま（Straight-Through）下の層へと素通りさせます。

量子化を意識した学習（QAT）への応用

STEを用いることで、数学的には厳密ではないものの、実用上はきれいにバックプロパゲーションを回せるようになります。このSTEを利用して、量子化のノイズをあらかじめ織り込みながらモデルを再学習・微調整（ファインチューニング）する手法を QAT（Quantization-Aware Training） と呼びます。

QATは、モデルの精度をほとんど落とすことなく、4bitや3bitといった極限の低ビットまでモデルを軽量化する際の核心技術となっています。