
持続的学習(continual learning)は、深層学習分野における大きな課題であり、その中心的な問題は、過去のタスクに関する知識を忘却せずに、次々と到来する新しいタスクを効果的に学習する方法をいかに設計するかにある。Learning without Forgetting(LwF)に端を発する多くの既存研究では、知識蒸留(knowledge distillation, KD)が過去の知識を保持する上で有効であると報告されており、そのため、既存のタスクに対してはソフトラベル(soft label)を用いてKD損失を、新しいタスクに対してはクラスラベルを用いて交差エントロピー(cross entropy, CE)損失を採用し、単一のニューラルネットワークにおいてこれらを組み合わせた複合損失関数を構築することが一般的である。しかし、このアプローチには、CE損失がKD損失と競合する状況下で、特にCE損失が損失関数に強く影響を与えるという問題がある。これは、特にクラス増分型(class incremental)のシナリオにおいて深刻な課題となる。なぜなら、統一された分類器が存在するため、タスク間および新タスク内部の知識は本質的にCE損失によってのみ獲得可能であり、KD損失がその学習を妨げてしまう可能性があるからである。本論文では、この問題を効果的に解決するため、新たな持続的学習手法「Split-and-Bridge」を提案する。この手法は、新しいタスクの学習を過去のタスクから分離するため、ニューラルネットワークを部分的に二つの部分に分割し、それぞれを独立して訓練した後、タスク間の知識を学習するために再接続するというアプローチを採用している。包括的な実験分析の結果、本手法は知識蒸留に基づく既存の最先端手法を上回る性能を発揮することが確認された。