Hugging Face政策主管：嵌入式AI评估并非易事

上周在TechCrunch Disrupt活动上，Hugging Face首席政策官Irene Solaiman指出，人工智能基准评测正面临可复现性、可比性与标准化不足的挑战。随着AI实验室长期将模型测试作为产品实力背书，业界需要更稳定、更一致的评估方法，才能在未来继续依赖这些结果。她认为，能否信任一项评测，首先取决于第三方能否复现测试结果，以及是否能获得足够模型访问权限，开源权重在这一过程中起到关键作用。 Solaiman表示，当前模型评估仍处于不断演进阶段，不同测试之间缺少可靠的比较框架，容易迅速失效，行业尚未形成成熟评测生态。与此同时，随着安全事件增加，AI企业推动由第三方机构担任嵌入评估者，以缓解监管压力并回应公众担忧，但此类模式的独立性与专业能力仍受质疑。Anthropic选择Accenture作为评估方就曾引发争议。她补充说，评测对象正从模型本身扩展至整个系统，包括用户访问模型的工具层和代理任务表现，较弱模型在更好工具支持下也可能超过前沿模型。行业若希望评测继续成为产业决策依据，需要建立统一标准，明确不同任务下合格评估者的资质，并完善面向完整代理系统的测试体系。