要約
近年、CNNベースのSISR（超解像）手法は、優れた性能を発揮するためには多数のパラメータと高い計算コストを要するため、モバイル端末などリソース制約のあるデバイスへの適用が制限されている。ネットワークの効率化を図る手法の一つとして、教師モデルから学生モデルへ有用な知識を転移する知識蒸留（Knowledge Distillation, KD）が注目されている。特に最近では、SISRにおけるKDは、教師モデルと学生モデルの特徴マップ間のユークリッド距離損失を最小化する特徴蒸留（Feature Distillation, FD）を用いる手法が広く採用されているが、これには、与えられたネットワーク容量制約のもとで、教師モデルから学生モデルへ効果的かつ意味のある知識をいかに伝達するかという点が十分に考慮されていないという課題がある。本論文では、軽量な学生モデルSISRネットワークを効率的に学習するための特徴領域における適応的コントラスト蒸留（Feature-domain Adaptive Contrastive Distillation, FACD）手法を提案する。既存のFD手法におけるユークリッド距離損失の限界を明らかにし、特徴空間において教師モデルの表現からより豊かな情報を学生モデルが学習できるよう、特徴領域コントラスト損失を提案する。さらに、学習用パッチの状態に応じて蒸留を選択的に適用する適応的蒸留機構を導入する。実験の結果、提案手法FACDを用いた学生モデル（EDSRおよびRCAN）は、従来のFD手法と比較して、全ベンチマークデータセットおよびスケールにおいてPSNR性能の向上だけでなく、主観的画像品質の改善も達成した。