事前学習モデルを用いた微調整なしのドメイン一般化

事前学習モデルの微調整(fine-tuning)は、ドメイン一般化(Domain Generalization: DG)タスクにおいて一般的な手法である。しかし、事前学習モデルのサイズが次第に増大しているため、微調整は計算コストが高くなる傾向にある。さらに重要なのは、近年の研究で示されたように、微調整はソースドメインにおいて過剰適合(over-fitting)を引き起こす可能性があり、結果としてモデルの一般化能力を損なうリスクを伴う点である。一般的に、事前学習モデルは一定程度の一般化能力を備えており、特定のドメインやサンプルに対して良好な性能を発揮することができる。しかしながら、異なるテストドメイン、さらにはサンプル間でその一般化性能に顕著なばらつきが生じるため、DGタスクにおいて事前学習モデルを効果的に活用するには大きな課題が残っている。本研究では、多様な事前学習モデルをより効果的に活用するための新しいドメイン一般化フレームワークを提案する。これを「ドメイン一般化のための専門化アンサンブル学習(Specialized Ensemble Learning for Domain Generalization: SEDGE)」と呼ぶ。SEDGEは、固定された事前学習モデルに基づき、線形ラベル空間アダプタを最初に学習する。このアダプタは、事前学習モデルの出力をターゲットドメインのラベル空間に変換する。その後、モデルの専門性(specialty)を考慮したアンサンブルネットワークを導入し、各テストサンプルに対して適切な事前学習モデルを動的に選択・配分して予測を行う。複数のベンチマークにおける実験結果から、SEDGEは従来の強力なベースライン、特にDGタスクにおける最先端手法と比較して顕著な性能向上を達成した。さらに、学習可能なパラメータ数を約99%削減し、学習時間も約99.5%短縮するという、極めて高い効率性を実現した。