HyperAIHyperAI

Command Palette

Search for a command to run...

非二値深層転移学習による画像分類

Jo Plested Xuyang Shen Tom Gedeon

概要

近年、ラベル付き学習例の数が少ない様々なコンピュータビジョンタスクにおいて、ImageNetなどの大規模な画像分類データセットで事前学習された重みから微調整(fine-tuning)を行うことが標準的な手法となっている。しかし、転移学習およびその手法の適用は、しばしば単純な二値的枠組みに限定される。モデルは「事前学習済み」か「未学習」のいずれかであり、事前学習が性能を向上させるか、あるいは低下させる(負の転移と呼ばれる)という二択の評価が一般的である。また、L2-SP正則化(事前学習された重みへと重みを徐々に近づける)の適用も、全重みに対して適用するか、あるいはすべての重みを0へと正則化するかの二択に帰着しがちである。本論文では、こうした前提を再検討する。広範な実証的評価に基づき、非二値的なアプローチを採用することで最適な結果が得られることを示す。その主な結論は以下の通りである。(1)個々のデータセットで最高の性能を達成するには、従来あまり注目されない複数の転移学習ハイパーパラメータの慎重な調整が必要である。具体的には、転移対象とする層数、各層ごとの異なる学習率、L2-SP正則化とL2正則化の異なる組み合わせなどである。(2)事前学習された重みがターゲットデータセットにどの程度適合しているかを評価する指標を複数用いることで、最適なハイパーパラメータの選定が可能となる。本論文では、L2-SPとL2正則化を組み合わせる非二値的転移学習手法や、従来の微調整におけるハイパーパラメータ探索の枠組みを拡張したアプローチを提案する。さらに、最適な転移学習ハイパーパラメータを決定するためのヒューリスティックも提示する。これらの非二値的アプローチの有効性は、従来転移学習が困難とされてきた多様なタスクにおいて、最終的な性能が既存の最先端技術に近接あるいは上回ることで裏付けられている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています