17 天前

基于BERT的自动作文评分:多尺度作文表征的联合学习

Yongjie Wang, Chuan Wang, Ruobing Li, Hui Lin
基于BERT的自动作文评分:多尺度作文表征的联合学习
摘要

近年来,预训练模型在大多数自然语言处理(NLP)任务中已占据主导地位。然而,在自动作文评分(Automated Essay Scoring, AES)领域,诸如BERT之类的预训练模型尚未被充分应用以超越其他深度学习模型(如LSTM)的性能。本文提出了一种新颖的、可联合学习的多尺度作文表示方法,专为BERT设计。同时,我们引入了多种损失函数,并利用跨领域作文数据进行迁移学习,以进一步提升模型表现。实验结果表明,本方法通过联合学习多尺度作文表示,显著提升了性能,在ASAP任务中达到了接近当前最优的深度学习模型水平。此外,所提出的多尺度作文表示在CommonLit可读性竞赛数据集上也展现出良好的泛化能力,表明本文提出的新型文本表示方法可能成为长文本任务中一种新的、有效的解决方案。