増分学習のための適応的ランダムパス選択アプローチ

従来の教師あり学習設定では、機械学習モデルは推論段階で認識したいすべてのオブジェクトクラスの例にアクセスできます。これにより、新しい学習タスクに適応する柔軟性を欠いた固定されたモデルが生成されます。実際の設定では、学習タスクはしばしば連続的に到着し、モデルは以前に獲得した知識を増やしながら継続的に学習しなければなりません。既存の逐次学習アプローチは、一括してすべての訓練クラスを使用する最先端の累積モデルよりも大幅に性能が低いです。本論文では、新しいタスクに対して最適なパスを選択しながらタスク間でのパラメータ共有を促進するランダムパス選択アルゴリズムであるAdaptive RPS-Net（適応的なRPSネットワーク）を提案します。また、新しいネットワーク容量測定法を導入し、すでに使用されているリソースが飽和している場合に自動的にパスを切り替えることが可能となります。提案されるパス再利用戦略により前方知識転送が保証され、当手法は効率的であり計算負荷も大幅に少ないです。さらに新たな特徴として、当モデルはパス選択戦略とともに知識蒸留と反省を統合し、劇的な忘却（catastrophic forgetting）を克服します。以前と新しく獲得した知識とのバランスを維持するために、我々は単純なコントローラーを提案し、モデルの可塑性を動的に調整します。広範な実験を通じて示すように、Adaptive RPS-Net手法は逐次学習における最先端の性能を超えています。並列計算を利用することで、この手法は従来の深層畳み込みニューラルネットワークとほぼ同じ効率で一定時間内に動作します。