顶级AI会议推新举措:作者自评论文,应对学术论文泛滥危机
随着人工智能研究的迅猛发展,顶级AI会议的论文投稿量在过去十年中激增,部分会议投稿量翻了十倍以上。宾夕法尼亚大学数学家Buxin Su指出,这一现象不仅源于全球AI研究的爆发式增长,更因许多作者频繁提交多篇论文,给评审工作带来巨大压力。为应对这一挑战,Su及其团队在2023年10月发布于arXiv的预印本中提出一种新机制:要求每位提交多篇论文的作者自行对投稿进行质量与影响力排序,并将这些自评结果与未见自评信息的同行评审意见进行校准,以识别真正有潜力的论文。 该方法在2023年国际机器学习会议(ICML)的2592篇投稿中进行了测试,涉及1342名研究者。研究团队在会议举行16个月后,通过追踪论文被引用次数,结合校准后的评审评分,评估其实际影响力。结果显示,作者自评排名最高的论文,其引用量是最低自评论文的两倍。Su表示,作者的自评具有很强的长期预测能力,而校准后的评分更能反映论文的真实质量。 ICML 2026将于今年在首尔举行,将成为首个正式采用该自评机制的会议。Su指出,该方法虽适用于各类学术会议,但尤其适合AI领域,因该领域普遍存在大量重复投稿。研究发现,ICML 2023中超过四分之三的投稿中,至少有一位作者提交了多篇论文。此外,AI生成论文的增多进一步加剧了评审负担。 对此,卡内基梅隆大学计算机科学家Nihar Shah认为,自评机制“新颖且有趣”,但质疑作者是否真能准确判断论文价值,认为其有效性可能源于研究方法本身,而非现实情况。他强调,当前会议投稿激增问题尚无明确解决方案。加州大学伯克利分校的Emma Pierson则认为,作者对自己论文的情感投入是重要参考,若能诚实自评,将提供宝贵信息。但她也担忧,研究人员可能为应对负面评审而故意操纵自评分数,从而影响机制公平性。
