すべてのモデルが等しくない：自己挑戦的なフィッシャー空間におけるモデル転移可能性の予測

本論文は、事前学習済みの深層ニューラルネットワークをランキングし、下流タスクに最も転移可能なモデルを選別する重要な問題を取り扱っています。この課題は困難であり、各タスクにおける真のモデルランキングは、対象データセット上で事前学習済みモデルを微調整することによってのみ生成できるため、その方法は単純な力技であり計算コストが非常に高いです。最近の先進的な手法では、微調整結果を予測するためのいくつかの軽量な転移可能性指標が提案されています。しかし、これらのアプローチは静的な表現だけを捉え、微調整の動態を無視しています。これに対応するため、本論文では新しい転移可能性指標である\textbf{S}elf-challenging \textbf{F}isher \textbf{D}iscriminant \textbf{A}nalysis（\textbf{SFDA}）を提案します。SFDAには既存の研究では見られない多くの魅力的な利点があります。第一に、SFDAは静的な特徴量をFisher空間に埋め込み、クラス間の分離性を向上させるためにそれらを精製することができます。第二に、SFDAは自己挑戦メカニズムを使用して、異なる事前学習済みモデルが難易度の高い例で差別化されることを促進します。第三に、SFDAは複数の事前学習済みモデルを選択してモデルアンサンブルを行うことが容易です。11つの下流タスクに対する33個の事前学習済みモデルでの広範な実験により、SFDAが効率的かつ効果的で堅牢であることが示されました。例えば、最先端手法NLEEPと比較すると、SFDAは平均59.1%の改善を示しつつも実時間で22.5倍高速化しています。コードは\url{https://github.com/TencentARC/SFDA}から入手可能です。