モデルの精度に大きく影響を与えないノード、エッジ（重み）、またはチャンネルを削る（0にする）ことで、データ量と計算回数を削減する手法です。

構造

  • 非構造化プルーニング： 影響の小さな重みを個別に 0 にします
  • 構造化プルーニング（チャンネルプルーニング）： ラッソ回帰などに基づいて特定のチャンネルごと削除し、特徴マップを再構成する

宝くじ仮説 (Lottery Ticket Hypothesis)

「ランダムに初期化された高密度のニューラルネットワークの中には、適切に初期化された『部分ネットワーク（当たりくじ）』が存在し、それ単体で元のモデルと同等以上の精度を同じ学習回数で達成できる」という仮説。

プルーニングと「初期値」の組み合わせにより、この構造を見つけることができます。