要約
知識蒸留（Knowledge Distillation）は、リソース制約のあるデバイスへのニューラルネットワークの導入に不可欠なモデル圧縮および高速化を実現する代表的な技術である。教師モデルから学生モデルへと転送される知識は、教師モデルの入出力マッピングそのもの、あるいはすべての入出力ペアによって表現される。しかし実際には、学生モデルはデータセット内のデータペアのみから学習を行うため、そのデータにバイアスが生じる可能性がある。本研究では、このバイアスが知識蒸留の性能を制限していると考え、訓練に用いるサンプルデータの均一性（uniformity）を定量的に定義することで、偏りのあるデータから学習を行う既存手法に対する統一的な視点を提示する。さらに、実世界のデータセット上で均一性を評価した結果、従来の手法が実際にはデータの均一性を向上させていることが明らかになった。これに基づき、データのバイアスを是正するための2つの均一性指向型手法を提案する。顔認識および人物再識別（Person Re-identification）を対象とした広範な実験により、本手法の有効性が検証された。さらに、顔認識タスクにおけるサンプリングデータの分析から、人種間および容易なサンプルと困難なサンプルの間でより良いバランスが達成されていることが示された。この効果は、学生モデルを初期から訓練する場合にも確認でき、標準的な知識蒸留と同等の性能が得られることを示している。