タスク認識型継続的学習のための条件付きチャネルゲートネットワーク

畳み込みニューラルネットワーク（Convolutional Neural Networks, CNN）は、順次的な学習問題に対して最適化される際に、災難的忘却（catastrophic forgetting）を経験する。すなわち、現在の学習サンプルの目的関数を満たす一方で、過去に学習したタスクにおける性能が著しく低下する。本研究では、条件付き計算（conditional computation）を活用してこの問題に取り組むための新規フレームワークを提案する。各畳み込み層に、タスク固有のゲートモジュールを導入し、入力に応じてどのフィルタを適用するかを動的に選択する。このアプローチにより、以下の2つの魅力的な特性を実現する。第一に、ゲートの実行パターンを活用することで、重要なフィルタを識別・保護でき、過去に学習したタスクの性能低下を防ぐことができる。第二に、スパース性（sparsity）を目的関数に導入することで、限られた数のカーネルの選択を促進でき、新しいタスクを適切に処理するのに十分なモデル容量を維持することが可能となる。既存の手法では、テスト時に各サンプルが属するタスクを事前に把握する必要がある。しかし、多くの実用的状況では、このようなタスク情報が得られない場合がある。そこで、タスクオラクルが利用できない設定に対応するため、各サンプルのタスクラベルを予測するタスク分類器を追加で導入した。本手法は4つの継続的学習（continual learning）データセット上で検証された。実験結果から、タスクオラクルの有無にかかわらず、既存手法を一貫して上回ることが示された。特に、Split SVHNおよびImagenet-50データセットでは、競合手法に対して最大23.98%および17.42%の精度向上を達成した。