机器学习基准测试应从玄学回归科学

马克斯·普朗克智能系统研究所主任莫里茨·哈特近日指出，人工智能基准测试长期存在结构性缺陷，在大型语言模型时代已演变为系统性危机。基准测试以1959年字符识别测试为起点，形成训练集与测试集分离、以排行榜比较模型的机制，并深刻影响人工智能发展。1987年美国国防高级研究计划局自动语音转写基准的失败曾加剧人工智能寒冬，2012年ImageNet图像识别基准中深度神经网络胜出则推动深度学习革命。 哈特认为，企业常将模型在数学、安全等基准上的绝对分数等同于真实能力，但测试集常被开发者反复利用，轻微改变题目便可能使分数大幅波动，导致绝对性能不可靠。机器学习领域此前未陷入复制危机，主要依赖模型排名在不同数据集上相对稳定，而这一稳定性建立在模型使用相同训练数据的前提上。如今，OpenAI、Anthropic等公司模型训练数据来源不透明，开发者可通过针对性准备提升榜单表现，使较弱模型也可能凭借应试优化排名靠前，削弱了比较意义。 哈特提出，与其禁止优化，不如建立类似运动员高原训练的统一准备协议，让模型在测试前接受同等处理，以恢复排行榜作为进步指标的合理性。但他同时强调，该方案仍只能提供相对排序，无法解释模型为何成功。基准测试的意义或许不在于测量智能本质，而在于通过长期竞争积累可观察经验，并推动科学发现。