拡散モデルから生成された合成データは、知識蒸留に適していますか？

最近、拡散モデルは高忠実度の写実的な画像生成において驚異的な性能を達成しています。その大きな成功にもかかわらず、現実の画像が利用できない場合に、合成画像が知識蒸留に適用可能かどうかはまだ明確ではありません。本論文では、最先端の拡散モデルから生成された合成画像を現実の画像にアクセスできない状況で知識蒸留にどのように使用できるかについて広範囲にわたって研究を行い、以下の3つの重要な結論を得ました：(1) 拡散モデルからの合成データは既存の合成ベースの蒸留手法の中で最先端の性能を容易に達成できます、(2) 低忠実度の合成画像の方がより良い教材となります、(3) 相対的に弱い分類器の方がより良い教師となります。コードは https://github.com/zhengli97/DM-KD で公開されています。