2 个月前

Yes

Yiming Cui; Wanxiang Che; Ting Liu; Bing Qin; Ziqing Yang
Yes
摘要

双向编码器表示模型(BERT)在各种自然语言处理(NLP)任务中展示了显著的改进,其后续变体也被提出以进一步提升预训练语言模型的性能。本文首先介绍了一种针对中文BERT的整词掩码(whole word masking, wwm)策略,以及一系列中文预训练语言模型。接着,我们提出了一种简单但有效的模型——MacBERT,该模型在多个方面对RoBERTa进行了改进。特别是,我们提出了一种新的掩码策略,称为基于修正的掩码语言模型(Masked Language Model as Correction, Mac)。为了证明这些模型的有效性,我们创建了一系列中文预训练语言模型作为基线模型,包括BERT、RoBERTa、ELECTRA、RBT等。我们在十个中文NLP任务上进行了广泛的实验,以评估所创建的中文预训练语言模型及提出的MacBERT。实验结果表明,MacBERT在许多NLP任务上达到了最先进的性能,并且我们还详细分析了几个可能有助于未来研究的发现。为了进一步促进研究社区的发展,我们开源了我们的预训练语言模型。资源链接如下:https://github.com/ymcui/Chinese-BERT-wwm