画像超解像におけるデータアップサイクリング知識蒸留

知識蒸留（Knowledge Distillation, KD）は、重い事前学習済みの教師モデルから、コンパクトな学生モデルへとタスク関連の知識を転移することで、深層ニューラルネットワークを圧縮する手法である。しかし、現在の超解像（Super-Resolution, SR）向けKD手法は、SRタスクの本質である「教師モデルの出力が高品質画像（Ground-Truth, GT）の真の分布に対するノイズ混入した近似値である」という点を無視しており、これにより教師モデルの知識が曇り、KDの効果が限定的になってしまう。本研究では、教師モデルの知識をGTの上限を越えて活用するため、訓練データから得られるドメイン内アップサイクルデータ（upcycled in-domain data）を用いて、教師モデルの知識を学生モデルへ転移する「データアップサイクル知識蒸留（Data Upcycling Knowledge Distillation, DUKD）」を提案する。さらに、ペアド逆変換（paired invertible augmentations）を用いたラベル一貫性正則化をKDに導入することで、学生モデルの性能とロバスト性を向上させる。広範な実験により、DUKD法が複数のSRタスクにおいて従来手法を顕著に上回ることが確認された。