MEAL V2：トリックを用いずに、バニラ版ResNet-50をImageNet上で80％以上のTop-1精度にまで向上させる

我々は、従来のResNet-50を特別なテクニックを用いずにImageNet上で80％以上のTop-1精度にまで向上させる、シンプルでありながら効果的な知識蒸留フレームワークを提案する。このフレームワークは、既存の分類システムにおける課題を分析し、識別器を用いたベースとなるアンサンブル知識蒸留法を簡素化することで構築された。具体的には、(1)類似性損失および識別器を最終出力のみに適用し、(2)すべての教師モデルのアンサンブルから得られるソフトマックス確率の平均値を強力な教師信号として用いることで、手法を簡潔にした。さらに、知識蒸留に関する3つの新たな視点を提示する：(1) ソフトラベル自体が正則化効果を持つため、重み減衰（weight decay）を弱める、あるいは完全に除去することが可能である；(2) 学習モデル（学生モデル）に対して適切な初期化が極めて重要である；(3) 重みが適切に初期化されている場合、蒸留プロセスにおいてワンホットラベル（one-hot/hard label）は必須ではない。本手法は、アーキテクチャの変更やImageNet以外の追加学習データ、AutoAug/RandAug、コサイン学習率、Mixup/CutMix学習、ラベルスムージングなど、一般的に用いられるあらゆる技術を一切用いずに、最先端の性能を達成できることを示した。単一の224×224のクロップサイズを用いたvanilla ResNet-50において、ImageNet上で80.67％のTop-1精度を達成し、同アーキテクチャ下での既存の最先端手法を顕著に上回った。本結果は、知識蒸留を用いた強力なベースラインとして評価できるものであり、知る限り、アーキテクチャの変更や追加学習データを一切用いずにvanilla ResNet-50の精度を80％以上に引き上げた初めての手法である。さらに、より小型のResNet-18においても、精度は69.76％から73.19％へと一貫して向上し、実世界の応用において極めて高い実用価値を示している。本研究のコードおよびモデルは以下のURLから公開されている：https://github.com/szq0214/MEAL-V2。