2ヶ月前

忘れない学習

Li, Zhizhong ; Hoiem, Derek
忘れない学習
要約

統一されたビジョンシステムを構築するか、または既存のシステムに新しい機能を段階的に追加する際、一般的にはすべてのタスクに対する学習データが常に利用可能であるという前提があります。しかし、タスクの数が増えるにつれて、そのようなデータを保存し、再学習することは現実的ではなくなります。この新たな問題は、新しい機能を畳み込みニューラルネットワーク(CNN)に追加する場合、既存の機能に対する学習データが利用できない状況で発生します。私たちは、「Learning without Forgetting」(忘却せずに学習)方法を提案します。この方法では、新しいタスクのデータのみを使用してネットワークを訓練しながら、元々の機能を保つことができます。私たちの方法は、一般的に使用される特徴抽出や微調整適応技術と比較して有利な結果を示し、元のタスクデータが利用できないと想定されるマルチタスク学習と同様の性能を発揮します。さらに驚くべき観察結果として、「Learning without Forgetting」は類似した古いタスクと新しいタスクのデータセットを持つ場合、微調整に代わる手段となり得ることが示唆されています。これにより新しいタスクの性能向上が期待できます。

忘れない学習 | 最新論文 | HyperAI超神経