HyperAI
Command Palette
Search for a command to run...
释放神经话语解析器的潜力——一种基于大规模预训练的上下文与结构感知方法
释放神经话语解析器的潜力——一种基于大规模预训练的上下文与结构感知方法
Giuseppe Carenini Patrick Huber Grigorii Guz
摘要
基于RST(关系结构树)的篇章解析是自然语言处理中一项重要的任务,具有广泛下游应用,如文本摘要、机器翻译和观点挖掘等。本文提出了一种简单但精度极高的篇章解析器,该解析器融合了最新的上下文语言模型。我们的方法在两个关键的RST数据集——RST-DT和Instr-DT上,于结构预测与核性(nuclearity)判断任务中均取得了新的最先进(SOTA)性能。此外,我们进一步证明,在最近发布的大型“银标准”篇章树库MEGA-DT上对解析器进行预训练,可带来更显著的性能提升,这表明在篇章分析领域,基于大规模银标准数据进行预训练是一种新颖且极具前景的研究方向。