一种有效的BERT领域适应后训练方法在响应选择中的应用

我们专注于检索式对话系统中的多轮响应选择。在本文中，我们利用强大的预训练语言模型——双向Transformer编码器表示（BERT），应用于多轮对话系统，并提出了一种在特定领域语料库上高效后训练的方法。尽管BERT可以轻松适应各种自然语言处理任务，并且在每个任务上都超越了先前的基线，但如果任务语料库过于集中在某一特定领域，它仍然存在局限性。通过在特定领域的语料库（例如Ubuntu语料库）上进行后训练，有助于模型学习上下文化表示和那些未出现在通用语料库（例如英文维基百科）中的词汇。实验结果表明，我们的方法在这两个响应选择基准数据集（即Ubuntu语料库V1、咨询语料库）上的表现达到了新的最先进水平，在R@1指标上分别提高了5.9%和6%。