要約
知識蒸留（knowledge distillation）の実証的成功にもかかわらず、現在の最先端手法は学習に非常に高い計算コストを要するため、実用的な導入が難しいという問題がある。この課題に対処するため、安価なエントロピー類似推定器に着想を得た二つの相補的な損失関数を提案する。これらの損失関数は、生徒モデルと教師モデルの表現間の相関および相互情報量を最大化することを目的としている。本手法は他の手法と比較して著しく低い学習オーバーヘッドで済み、知識蒸留およびクロスモデル転移タスクにおいて最先端の性能を達成している。さらに、本手法がバイナリ蒸留タスクにおいても有効であることを示し、バイナリ量子化の分野で新たな最先端性能を達成するとともに、フル精度モデルの性能に近づくことを実証した。コード：www.github.com/roymiles/ITRD