17日前
包括統一的効果的なドメイン一般化へ
Yiyuan Zhang, Kaixiong Gong, Xiaohan Ding, Kaipeng Zhang, Fangrui Lv, Kurt Keutzer, Xiangyu Yue

要約
本研究では、あらゆるモデルアーキテクチャにかかわらず、基礎モデルの分布外一般化性能を顕著に向上させることのできる、新しい統合型ドメイン一般化フレームワーク「UniDG」を提案する。UniDGの核となるアイデアは、推論段階においてモデルの微調整(fine-tuning)を行うことである。これにより、反復的な学習プロセスに伴うコストを大幅に削減できる。具体的には、テストデータの分布を教師なしで学習するようモデルを促し、モデルパラメータの更新ステップに対してペナルティ項を導入する。このペナルティ項により、初期モデルに蓄積された貴重な知識を最大限に保持しつつ、災害的忘却(catastrophic forgetting)の問題を効果的に抑制できる。実験的に、CNN、MLP、Transformerを含む12種類の視覚的バックボーン(パラメータ数は189万~3億300万)において、DomainBedベンチマーク上で平均して+5.4%の精度向上が確認された。これらの結果は、UniDGの優位性と汎用性を実証している。コードは公開されており、https://github.com/invictus717/UniDG にて入手可能である。