要約
ドメイン一般化（Domain Generalization, DG）は、限られたソースドメインのみを用いて、未観測のターゲットドメインに対しても一般化できるモデルを学習することを目的としている。従来のDGアプローチは、訓練ドメインとテストドメインの間に顕著なドメインシフトが存在するため、単にソースドメインからのみドメイン不変表現を学習することができず、その限界に直面している。本研究では、あらゆる可能ドメインに一般化可能なオラクルモデル（oracle model）を用いて、DGの目的関数を再定式化する。さらに、事前学習モデルをオラクルモデルの近似として用いることで、変分下界を計算可能な形に導出し、その手法を「オラクルを用いた相互情報量正則化（Mutual Information Regularization with Oracle, MIRO）」と命名する。広範な実験により、MIROが分布外性能を顕著に向上させることを示した。また、スケーリング実験では、事前学習モデルの規模が大きいほどMIROの性能向上が顕著になることが明らかになった。ソースコードは、https://github.com/kakaobrain/miro にて公開されている。