要約
大規模言語モデル（LM）を活用した最近の研究では、多くの自然言語処理（NLP）アプリケーションにおいて優れた性能が達成されている。ラベルなしのドメイン別コーパスを用いてLMを適応または後学習（posttraining）することで、そのドメインにおけるエンドタスクの性能がさらに向上することが示されている。本論文では、過去のスキルを忘却することなく、ラベルなしのドメインコーパスのシーケンスを段階的に用いてLMを継続的に拡張するという問題を提案する。その目的は、これらのドメインにおける少数サンプル（few-shot）エンドタスク学習の性能を向上させることにある。提案するシステムは、筆者らの知る限り、最初の継続的後学習システムであるCPT（Continual PostTraining）と呼ばれる。実験結果により、本手法の有効性が検証された。