4ヶ月前

専門モデルを使用したドメイン適応転移学習

Jiquan Ngiam; Daiyi Peng; Vijay Vasudevan; Simon Kornblith; Quoc V. Le; Ruoming Pang
専門モデルを使用したドメイン適応転移学習
要約

転移学習は、高性能なコンピュータビジョンモデルを構築するために広く使用されている手法です。本論文では、データの選択が性能に与える影響を検討することで、転移学習の効果を研究しました。その結果、より多くの事前学習データが必ずしも役立たないことがわかり、転移性能は適切な事前学習データの選択に依存することが示されました。これらの知見は、データセットのサイズが継続的に増大している状況において重要です。さらに、我々はドメイン適応型転移学習という手法を提案します。これは、ターゲットデータセットに基づいて計算された重要度重みを使用する単純かつ効果的な事前学習方法です。重要度重みの計算手法はドメイン適応のアイデアに由来しており、転移学習への新しい応用例として示しています。我々の手法は複数の細分化分類データセットで最先端の結果を達成しており、実際の使用に適しています。

専門モデルを使用したドメイン適応転移学習 | 論文 | HyperAI超神経