情報理論

• 情報理論の概要
  • 情報量
  • エントロピー
  • 交差エントロピー
  • KLダイバージェンス
• 情報量
  • 情報量
  • 局所的相互情報量
  • 相互情報量
• エントロピー
  • エントロピー
  • 結合エントロピー
  • 条件付きエントロピー
• 交差エントロピー
• KLダイバージェンス
• JSダイバージェンス
• 補足
  • ハフマン符号
  • 浮動小数点数