言語モデルの継続的プレトレーニング

言語モデル（LM）は、自然言語処理分野の急速な進展に大きく貢献してきました。本論文では、言語モデルの継続的前学習、特に継続的ドメイン適応的前学習（以下、継続的DAP学習）に着目しています。既存の研究では、ドメイン固有のコーパスを用いてLMをさらに前学習することで、そのドメインにおけるタスク性能が向上することが示されています。本論文では、複数のラベルなしドメインコーパスのシーケンスを用いて、LMを継続的にDAP学習させるための新規手法を提案します。この手法により、LMが複数のドメインに適応し、各ドメインにおけるエンドタスク性能の向上を図ることができます。本手法の鍵となる革新点は、「ソフトマスキング機構」であり、この機構はLMの更新を直接制御します。さらに、元のLMに含まれる汎用知識を保持するための新たな代理指標（proxy）を提案しています。また、これまでに学習したドメイン知識（前学習済みLMに含まれる汎用知識を含む）と、現在の完全なネットワークから得られる知識との表現を対比することで、知識の統合を実現しています。この方法は、災害的忘却（catastrophic forgetting）を克服するだけでなく、知識の転移を実現し、エンドタスク性能の向上を達成します。実験的な評価により、本手法の有効性が確認されました。