基于稀疏潜在类型化的语言模型预训练

现代大规模预训练语言模型（Pre-trained Language Models, PLMs）在众多下游任务中取得了显著成功。然而，大多数语言模型的预训练目标仅聚焦于文本重建，未能有效学习句子的潜在可解释表示。本文提出一种新的预训练目标——稀疏潜在类型化（Sparse Latent Typing），旨在推动语言模型对句子实现更深层次的理解。该方法能够稀疏地提取具有多样潜在类型的句子级关键词。实验结果表明，我们的模型能够在无需任何外部知识的情况下，以自监督方式学习到具有可解释性的潜在类型类别。此外，采用该目标进行预训练的语言模型在信息抽取相关的下游任务中，无论是在监督学习还是少样本学习设置下，均取得了显著性能提升。相关代码已公开，地址为：https://github.com/renll/SparseLT。