HyperAIHyperAI

Command Palette

Search for a command to run...

ドメイン敵対的訓練におけるスムーズ性の再検討

Harsh Rangwani Sumukh K Aithal Mayank Mishra Arihant Jain R. Venkatesh Babu

概要

ドメインアドバーシャルトレーニングは、不変表現の獲得に広く用いられており、さまざまなドメイン適応タスクで活用されている。近年、滑らかな最適解に収束する手法が、分類などの教師あり学習タスクにおいて優れた一般化性能を示すことが明らかになっている。本研究では、ドメインアドバーシャルトレーニングにおける滑らかさを強化する定式化の効果を分析する。ドメインアドバーシャルトレーニングの目的関数は、タスク損失(例:分類、回帰など)とアドバーシャル項の組み合わせで構成される。我々の分析によれば、タスク損失に関して滑らかな最小値に収束させることで、アドバーシャルトレーニングの安定性が向上し、ターゲットドメインにおける性能が向上することが明らかになった。一方、アドバーシャル損失に関して滑らかな最小値に収束させると、ターゲットドメインにおける一般化性能が劣化するという結果が得られた。この分析に基づき、我々は「スムーズドメインアドバーシャルトレーニング(Smooth Domain Adversarial Training, SDAT)」という新たな手順を提案する。SDATは、既存のドメインアドバーシャル手法の性能を分類および物体検出の両タスクにおいて効果的に向上させることができる。また、本研究の分析は、ドメインアドバーシャルトレーニングの分野においてなぜSGDがAdamよりも広く採用されているかという現象についても新たな知見を提供している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています