摘要
基于注意力机制的架构的出现，显著提升了神经序列到序列模型在文本摘要任务中的性能。尽管这些模型在英文文档摘要方面已被证明具有良好的效果，但其在其他语言上的可迁移性仍然有限，因而仍有较大的改进空间。本文提出 BART-IT，一种基于 BART 架构、专为意大利语优化的序列到序列模型。该模型首先在大规模意大利语文本语料上进行预训练，以学习语言特异性特征，随后在多个用于抽象摘要任务的基准数据集上进行微调。实验结果表明，尽管参数量显著少于其他先进模型，BART-IT 在 ROUGE 评分上仍优于现有主流模型。BART-IT 的应用有望推动意大利语自然语言处理相关技术的发展。除了向研究社区公开模型以促进后续研究与应用外，本文还探讨了抽象摘要模型使用所涉及的伦理问题。