摘要
近期，将大规模语言模型（Language Models, LMs）应用于自然语言处理（NLP）任务的研究取得了令人瞩目的成果。通过使用未标注的领域语料对语言模型进行适应性调整或后续训练（post-training），可显著提升其在特定领域下游任务中的性能。本文提出了一项新问题：通过依次使用一系列未标注的领域语料对语言模型进行增量式后续训练，持续扩展其知识体系，同时避免遗忘已掌握的先前技能。该方法旨在提升这些领域中少样本（few-shot）下游任务的学习效果。所提出的系统称为CPT（Continual PostTraining），据我们所知，这是首个实现持续后续训练的语言模型系统。实验结果验证了该方法的有效性。