2 个月前

科学排行榜构建中的任务、数据集、评估指标和数值分数的识别

Yufang Hou; Charles Jochim; Martin Gleize; Francesca Bonin; Debasis Ganguly
科学排行榜构建中的任务、数据集、评估指标和数值分数的识别
摘要

虽然新任务和新数据集的快速涌现有助于推动社区在有趣的方向上开展活跃的研究,但跟踪不同领域和不同数据集上的大量研究活动可能会变得越来越困难。社区将极大地受益于一个能够自动汇总科学成果的系统,例如以排行榜的形式呈现。本文构建了两个数据集,并开发了一个框架(TDMS-IE),旨在从自然语言处理(NLP)论文中自动提取任务、数据集、度量和分数,从而实现排行榜的自动构建。实验结果表明,我们的模型大幅优于多个基线模型。该模型是朝着自动构建排行榜迈出的第一步,例如在自然语言处理领域。

科学排行榜构建中的任务、数据集、评估指标和数值分数的识别 | 最新论文 | HyperAI超神经