要約
長期間学習（lifelong learning）に関する大多数の研究は、画像やゲームに適用されているが、言語には適用されていない。本研究では、言語モデリングに基づくシンプルでありながら効果的な長期間言語学習（Lifelong Language Learning, LLL）手法であるLAMOLを提案する。LAMOLは、追加のメモリやモデル容量を必要とせず、過去のタスクの擬似サンプルを再再生することで、継続的に学習を可能にする。具体的には、LAMOLは、タスクの解決とトレーニングサンプルの生成の両方を同時に学習する言語モデルである。新しいタスクの学習が行われる際、モデルは新たなタスクのデータとともに、過去のタスクの擬似サンプルを生成し、それらを用いて学習を行う。実験結果から、LAMOLはいかなる頑固性（intransigence）の兆候も示さずに、災難的忘却（catastrophic forgetting）を防止でき、一つのモデルで5つの非常に異なる言語タスクを順次実行することが可能であることが明らかになった。全体として、LAMOLは従来の手法を大幅に上回り、マルチタスク学習（multitasking）の性能（通常、LLLの上限と見なされる）と比較して、わずか2〜3%程度の差にとどまる。ソースコードは、https://github.com/jojotenya/LAMOL にて公開されている。