17日前

SIMPLE:ドメイン一般化のための専門モデル-サンプルマッチング

{Dongsheng Li, Haipeng Zhang, Yifei Shen, Xinyang Jiang, Kan Ren, Ziyue Li}
SIMPLE:ドメイン一般化のための専門モデル-サンプルマッチング
要約

ドメイン一般化(Domain Generalization, DG)において、従来の大多数の手法は、新たなDGアルゴリズムを用いて特定の事前学習モデルを微調整することを目指している。本論文では、その代替アプローチとして、微調整を一切行わずに事前学習モデルのプールを効率的に活用する方向性を提案する。広範な実証的および理論的証拠を通じて、(1)事前学習モデルは一定程度の一般化能力を有しているが、すべての分布シフトに対して最も優れたモデルは存在しないこと、および(2)分布外(Out-of-Distribution, OOD)一般化誤差は、事前学習モデルと未観測のテスト分布との適合性(fitness)に依存することを示した。この分析を踏まえ、多様な事前学習モデルを統合し、推薦技術を用いて各OODサンプルに最も適したモデルを動的に選定するアプローチを採用することを提唱する。これを実現するために、ドメイン一般化に特化したモデル-サンプルマッチング手法であるSIMPLEを提案する。まず、線形ラベル空間変換を用いて事前学習モデルの予測をターゲットドメインに適応させる。次に、モデルの特性を認識するマッチングネットワークを導入し、各テストサンプルに対して適切な事前学習モデルを動的に推薦する。DomainBedにおける実験結果から、本手法は最先端(SOTA)手法と比較して顕著な性能向上(個別データセットで最大12.2%、平均で3.9%)を達成し、さらに事前学習モデルプールを拡大することで6.1%のさらなる向上を実現した。また、本手法は非常に効率的であり、従来の事前学習モデルを微調整するDG手法と比較して、学習速度が1000倍以上向上している。コードおよび補足資料は、https://seqml.github.io/simple にて公開されている。