16 天前
ZJUKLAB 参与 SemEval-2021 任务 4:基于语言模型的抽象意义阅读理解负样本增强
Xin Xie, Xiangnan Chen, Xiang Chen, Yong Wang, Ningyu Zhang, Shumin Deng, Huajun Chen

摘要
本文介绍了我们在SemEval Task 4——抽象意义阅读理解(ReCAM)三个子任务中的系统实现。我们详细阐述了模型训练所采用的算法,以及算法调优与最优模型选择的过程。受ReCAM任务与语言模型预训练任务之间相似性的启发,我们提出了一种简单而有效的技术——基于语言模型的负样本增强方法。实验结果表明,所提出方法具有显著有效性。在Subtask 1和Subtask 2的官方测试集上,我们的模型分别取得了87.9%和92.8%的准确率,排名分别为第4名。此外,我们还进行了全面的模型分析,观察到一些有趣的错误案例,这些发现有望为未来的研究提供有益参考。