敵対的ロバストなImageNetモデルは、より良い転移性能を示すか？

転移学習は、深層学習において広く用いられるパラダイムであり、標準データセット上で事前学習されたモデルを、下流タスクに効率的に適応させる手法である。一般的に、より優れた事前学習モデルほど、転移学習における性能も向上する傾向があり、初期の精度が転移学習の性能において重要な要素であることを示唆している。本研究では、もう一つの重要な側面を特定した。すなわち、敵対的攻撃に対して堅牢なモデルは、精度がやや低くても、転移学習の文脈において、標準的に学習されたモデルよりも優れた性能を発揮することが多い。具体的には、敵対的堅牢性を持つImageNet分類器に着目し、標準的な下流分類タスク群において、より高い精度を達成できることを示した。さらに詳しい分析により、転移学習の文脈における堅牢モデルと標準モデルとの間に、より多くの相違点が明らかになった。本研究の結果は、最近提唱された仮説と整合しており、それは「堅牢性が優れた特徴表現をもたらす」というものである。本研究で使用したコードおよびモデルは、https://github.com/Microsoft/robust-models-transfer にて公開されている。