HyperAIHyperAI

Command Palette

Search for a command to run...

基于检索的对话系统中的细粒度后训练

Jungyun Seo Youngjoong Ko Byoungjae Kim Taesuk Hong Janghoon Han

摘要

基于检索的对话系统在使用预训练语言模型(如基于 Transformer 的双向编码器表示模型,BERT)时表现出卓越性能。在多轮对话中的响应选择任务中,BERT主要致力于学习包含多轮话语的上下文与响应之间的关联关系。然而,这种训练方式在考虑上下文内各轮话语之间相互关系方面仍显不足,导致模型难以全面理解对话的语义流,从而影响响应选择的准确性。为解决这一问题,本文提出一种新的细粒度后训练方法,以更好地体现多轮对话的特性。具体而言,该方法通过在对话会话中对每一对短上下文-响应进行训练,使模型能够学习到话语层级的交互关系。此外,引入一种新的训练目标——话语相关性分类,使模型能够有效捕捉对话话语之间的语义相关性与连贯性。实验结果表明,所提出的模型在三个基准数据集上均取得了显著优于现有方法的性能,达到了新的最先进水平。这充分证明,细粒度后训练方法在响应选择任务中具有高度有效性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供