2ヶ月前

再考:少量学習のためのファインチューニング

Nakamura, Akihiro ; Harada, Tatsuya
再考:少量学習のためのファインチューニング
要約

少ショット学習は、わずかな例を使用して新しいクラスを学習するプロセスであり、機械学習における難問の一つとなっています。単純にわずかな例で微調整を行うとネットワークが新しい例に過学習しやすいという考えに基づき、多くの洗練された少ショット学習アルゴリズムが提案されてきました。本研究では、一般的に使用される低解像度のmini-ImageNetデータセットにおいて、微調整法が1ショットタスクで一般的な少ショット学習アルゴリズムよりも高い精度を達成し、5ショットタスクでは最先端のアルゴリズムとほぼ同等の精度を達成することを示しています。さらに、我々はより実践的なタスク、すなわち高解像度の単一ドメインおよびクロスドメインタスクにおいて、方法を評価しました。これらのタスクでも、我々の方法は一般的な少ショット学習アルゴリズムよりも高い精度を達成することを示しています。また、実験結果を詳細に分析し、以下の点を明らかにしました:1) 低い学習率を使用することで再学習プロセスが安定化できる、2) 微調整時に適応的勾配最適化手法を使用することでテスト精度が向上する、3) 基底クラスと新しいクラス間に大きなドメインシフトがある場合、ネットワーク全体を更新することでテスト精度が向上する。この研究を通じて、少ショット学習における微調整法の有効性とその改善方法について深く理解できました。

再考:少量学習のためのファインチューニング | 最新論文 | HyperAI超神経