要約
継続学習（Continual Learning, CL）は、複数のタスクを逐次的に学習する際に、二つの主要な目標を達成することを目的としている。すなわち、災害的忘却（Catastrophic Forgetting, CF）を回避することと、タスク間での知識転移（Knowledge Transfer, KT）を促進することである。しかし、現存する大多数の手法はCFの回避に焦点を当てており、KTを促進するメカニズムを備えておらず、結果としてKTの性能が十分に発揮されていない。いくつかの研究ではCFとKTの両方に対応しようとしているが、我々の実験結果によれば、タスク間に共有知識が少ない場合、これらの手法は深刻なCFを引き起こすことが明らかになった。また、別の観察として、現在の大多数のCL手法は事前学習モデル（pre-trained models）を利用していないことが挙げられる。しかし、既に示されているように、事前学習モデルは最終タスクの性能を著しく向上させることが可能である。たとえば、自然言語処理分野では、BERTのような事前学習言語モデルを微調整（fine-tuning）するアプローチが最も効果的な手法の一つとして知られている。しかしながら、CLの文脈では、このアプローチは深刻なCFに悩まされる。このような状況から、重要な問いとして「事前学習モデルをCLにどのように最適に活用するか」が浮かび上がる。本研究では、これらの課題を解決するための新規モデルであるCTR（Continual Transfer Representation）を提案する。実験結果により、CTRの有効性が明確に示された。