17日前

スパースMixture-of-Expertsはドメイン汎化可能な学習者である

Bo Li, Yifei Shen, Jingkang Yang, Yezhen Wang, Jiawei Ren, Tong Che, Jun Zhang, Ziwei Liu
スパースMixture-of-Expertsはドメイン汎化可能な学習者である
要約

人間の視覚認識は、分布外(out-of-distribution)の視覚データに対しても容易に一般化できるが、これに対して現代の機械学習モデルははるかに劣る。ドメイン一般化(Domain Generalization: DG)はこのギャップを埋めることを目的としており、従来のDG手法は主に損失関数の設計に注力している。本論文では、これとは直交するアプローチ、すなわちバックボーンアーキテクチャの設計に着目する。このアイデアは、実証的な観察に基づくものであり、経験的リスク最小化(ERM)により訓練されたTransformerベースのモデルが、複数のDGデータセットにおいて、最先端(SOTA)のDGアルゴリズムを用いたCNNベースのモデルを上回ることを確認したことに由来する。我々は、ネットワークのアーキテクチャがデータセット内の相関関係とどれだけ整合しているかを分析することで、分布シフトに対するロバスト性を定式化するフレームワークを構築した。この分析を基に、視覚Transformerに基づく新しいDGモデルである「汎化型Mixture-of-Experts(Generalizable Mixture-of-Experts: GMoE)」を提案する。DomainBedにおける広範な実験の結果、ERMで訓練されたGMoEは、SOTAのDGベースラインを大幅に上回る性能を示した。さらに、GMoEは既存のDG手法と相補的であり、DGアルゴリズムを用いて訓練することで、その性能はさらに顕著に向上することが明らかになった。