HyperAIHyperAI

Command Palette

Search for a command to run...

PODNet:小規模タスクにおけるインクリメンタル学習のためのプールド出力蒸留

Arthur Douillard Matthieu Cord Charles Ollion Thomas Robert Eduardo Valle

概要

生涯学習(lifelong learning)は注目を集めているが、既存の研究は継続的学習における災害的忘却(catastrophic forgetting)の防止や、長期間にわたる段階的学習における知識の蓄積という点で依然として課題を抱えている。本研究では、表現学習(representation learning)に着想を得たPODNetを提案する。PODNetは、古いクラスの記憶と新しいクラスの学習の間で適切なトレードオフを保つことで、極めて小さな段階的タスクが長期間にわたり繰り返される状況でも災害的忘却を効果的に抑制する。これは、現行の研究がこれまで探求してこなかった設定である。PODNetは、モデル全体にわたって効率的な空間ベースの蒸留損失(distillation-loss)を適用するという点で既存技術を革新するとともに、各クラスに対して複数のプロキシベクトル(proxy vectors)を用いた表現を採用している。これらの革新点は、CIFAR100、ImageNet100、ImageNet1000の3つのデータセットにおいて、3つの最先端モデルと比較して徹底的に検証された。その結果、PODNetは既存手法に対して顕著な優位性を示し、それぞれ12.10、6.51、2.85パーセンテージポイントの精度向上を達成した。コードは、https://github.com/arthurdouillard/incremental_learning.pytorch にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています