要約
インクリメンタルな生涯学習は、人工汎用知能（AGI）という長年の目標に向けた主要な課題である。現実の環境では、学習タスクが順次到来し、機械学習モデルは既に習得した知識を段階的に拡張し続ける必要がある。現在のインクリメンタル学習手法は、すべての訓練クラスを一度に使用する最先端の累積モデルに比べて、著しく性能が劣っている。本論文では、新たなタスクに対して最適なパスを段階的に選択しつつ、パラメータの共有と再利用を促進する、ランダムパス選択アルゴリズム「RPS-Net」を提案する。本手法は、計算コストが非常に高い進化的および強化学習に基づくパス選択戦略に伴うオーバーヘッドを回避しつつ、顕著な性能向上を達成している。さらに、本モデルはパス選択戦略に加えて、知識蒸留（knowledge distillation）と後知恵（retrospection）を統合することで、災害的忘却（catastrophic forgetting）の克服を図っている。過去の知識と新しく習得した知識の間の均衡を維持するため、モデルの柔軟性（plasticity）を動的に調整するシンプルなコントローラーを提案する。広範な実験を通じて、提案手法がインクリメンタル学習において最先端の性能を上回ることを示した。また、並列計算を活用することで、従来の深層畳み込みニューラルネットワークとほぼ同等の効率で、定時間（constant time）で実行可能であることを実証した。