HyperAIHyperAI

Command Palette

Search for a command to run...

事前学習モデルを用いた相互情報量正則化によるドメイン一般化

Junbum Cha Kyungjae Lee Sungrae Park Sanghyuk Chun

概要

ドメイン一般化(Domain Generalization, DG)は、限られたソースドメインのみを用いて、未観測のターゲットドメインに対しても一般化できるモデルを学習することを目的としている。従来のDGアプローチは、訓練ドメインとテストドメインの間に顕著なドメインシフトが存在するため、単にソースドメインからのみドメイン不変表現を学習することができず、その限界に直面している。本研究では、あらゆる可能ドメインに一般化可能なオラクルモデル(oracle model)を用いて、DGの目的関数を再定式化する。さらに、事前学習モデルをオラクルモデルの近似として用いることで、変分下界を計算可能な形に導出し、その手法を「オラクルを用いた相互情報量正則化(Mutual Information Regularization with Oracle, MIRO)」と命名する。広範な実験により、MIROが分布外性能を顕著に向上させることを示した。また、スケーリング実験では、事前学習モデルの規模が大きいほどMIROの性能向上が顕著になることが明らかになった。ソースコードは、https://github.com/kakaobrain/miro にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています