基于预训练Transformer的句子提取式摘要中考虑嵌套树结构

句子级摘要通过选取文档中的关键句子来缩短文本，同时保留其核心信息。然而，使用预训练的基于BERT的编码器构建连贯且信息丰富的摘要仍具挑战性，因为这类模型并未显式训练用于表征文档中句子的信息。为此，我们提出了一种基于嵌套树结构的抽取式摘要模型——NeRoBERTa，该模型在RoBERTa基础上构建，其嵌套树结构由文档中的句法树和话语树共同组成。在CNN/DailyMail数据集上的实验结果表明，NeRoBERTa在ROUGE指标上优于基线模型。人工评估结果进一步显示，NeRoBERTa在连贯性方面显著优于基线模型，且在整体表现上可与当前最先进的模型相媲美。