用于基于跨度的问答任务中学习多轮对话层次化上下文的Transformer模型

我们提出了一种新型的Transformer方法，用于在多角色对话中学习分层表示。首先，通过三种语言建模任务对Transformer进行预训练：词元级语言建模、话语级语言建模以及话语顺序预测，从而学习词元与话语级别的嵌入表示，以增强对对话上下文的理解能力。随后，采用话语预测与词元片段预测之间的多任务学习策略，对模型进行微调，以支持基于片段的问答（Span-based Question Answering, QA）。该方法在FriendsQA数据集上进行了评估，相较于两种先进的Transformer模型BERT和RoBERTa，分别取得了3.8%和1.4%的性能提升。