大规模神经语言模型的对抗训练

泛化能力和鲁棒性是设计机器学习方法时的两个关键目标。对抗训练能够提升模型的鲁棒性，但以往研究表明，这种方法往往会对泛化性能造成负面影响。在自然语言处理（NLP）领域，预训练大规模神经语言模型（如BERT）已在多种任务上展现出显著的泛化能力提升，而通过对抗性微调还可进一步优化性能。然而，这些模型仍容易受到对抗攻击的影响。本文表明，对抗性预训练能够在提升模型鲁棒性的同时，有效增强泛化能力。为此，我们提出了一种通用算法ALUM（Adversarial training for large neural LangUage Models），该算法通过在嵌入空间中施加最大化对抗损失的扰动，对训练目标进行正则化。本文首次系统地研究了对抗训练在所有阶段的应用，包括从零开始的预训练、基于已训练模型的持续预训练，以及针对特定任务的微调。实验结果表明，ALUM在多种NLP任务中均显著优于BERT，无论是在常规场景还是对抗性场景下均表现出色。即使对于已在超大规模语料库上充分训练的模型（如RoBERTa），ALUM通过持续预训练仍能带来显著性能提升，而传统非对抗性方法则无法实现类似效果。此外，ALUM还可与特定任务的微调策略相结合，进一步提升性能。ALUM的代码已公开发布于：https://github.com/namisan/mt-dnn。