Command Palette
Search for a command to run...
PODNet:小規模タスクにおけるインクリメンタル学習のためのプールド出力蒸留
PODNet:小規模タスクにおけるインクリメンタル学習のためのプールド出力蒸留
Arthur Douillard Matthieu Cord Charles Ollion Thomas Robert Eduardo Valle
概要
生涯学習(lifelong learning)は注目を集めているが、既存の研究は継続的学習における災害的忘却(catastrophic forgetting)の防止や、長期間にわたる段階的学習における知識の蓄積という点で依然として課題を抱えている。本研究では、表現学習(representation learning)に着想を得たPODNetを提案する。PODNetは、古いクラスの記憶と新しいクラスの学習の間で適切なトレードオフを保つことで、極めて小さな段階的タスクが長期間にわたり繰り返される状況でも災害的忘却を効果的に抑制する。これは、現行の研究がこれまで探求してこなかった設定である。PODNetは、モデル全体にわたって効率的な空間ベースの蒸留損失(distillation-loss)を適用するという点で既存技術を革新するとともに、各クラスに対して複数のプロキシベクトル(proxy vectors)を用いた表現を採用している。これらの革新点は、CIFAR100、ImageNet100、ImageNet1000の3つのデータセットにおいて、3つの最先端モデルと比較して徹底的に検証された。その結果、PODNetは既存手法に対して顕著な優位性を示し、それぞれ12.10、6.51、2.85パーセンテージポイントの精度向上を達成した。コードは、https://github.com/arthurdouillard/incremental_learning.pytorch にて公開されている。