18 天前

基于成对对比回归的自动化作文评分

{Weiguang Qu, Junsheng Zhou, Li Kong, Kaiwei Cai, Jiayi Xie}
基于成对对比回归的自动化作文评分
摘要

自动作文评分(Automated Essay Scoring, AES)旨在预测与作文写作质量相关的评分。现有大多数AES研究分别采用回归目标或排序目标,然而这两种方法具有高度互补性。为此,本文受对比学习(contrastive learning)的启发,提出一种新颖的统一神经成对对比回归模型(Neural Pairwise Contrastive Regression, NPCR),该模型将回归与排序两种目标统一为单一损失函数,实现联合优化。具体而言,我们首先设计了一种神经成对排序模型,以保证在大规模作文列表中全局排序顺序的准确性;随后,进一步将该成对排序模型拓展为能够预测输入作文与多篇参考作文之间相对得分的能力。此外,在推理阶段引入多样本投票策略以提升评分稳定性与准确性。我们在公开的自动学生评估奖(Automated Student Assessment Prize, ASAP)数据集上采用加权二次κ系数(Quadratic Weighted Kappa)对模型进行评估,实验结果表明,NPCR显著优于以往方法,达到了当前AES任务的最先进平均性能。