Open ASR 评测榜单自 2023 年 9 月发布以来，已获得超过 71 万次访问。为应对“古德哈特定律”所指的指标异化风险，即防止开发者过度优化测试集数据以提升排名却未提升实际性能，榜单运营方宣布引入由 Appen Inc.和 DataoceanAI 提供的高质量私密英语语音识别数据集。这些新数据集涵盖多种口音及脚本式、对话式语音场景，旨在更全面地评估模型在真实复杂环境下的鲁棒性。 为确保评测的公平性与真实性，运营方决定暂时不将这些私密数据集纳入榜单的默认平均错误率（WER）计算中。用户可手动开启“私密数据”开关，以查看包含该部分数据的详细表现和排名变化。这种设计允许开发者根据具体应用场景，灵活选择是否将多样化的口音或非美式英语数据纳入评估范围，从而识别模型在不同维度上的能力差异。 Open ASR 榜单始终坚持标准化与开源两大原则。所有测试集已统一整合至公共平台，并采用标准化的文本处理流程，如去除标点、统一大小写及美式拼写。同时，评测代码和脚本全面开源，以便社区反馈和优化。尽管引入私密数据看似与开源精神相悖，但运营方认为这能有效遏制针对测试集的“刷榜”行为，提升榜单的可信度。为平衡潜在优势，多方数据提供商的引入也降低了单一数据源带来的偏差。 未来，榜单计划继续引入更多高质量数据集和评估场景，特别是针对现实世界中的嘈杂环境，以提供更贴近实际的模型性能洞察。开发者如需使用私密数据评估自身模型，需通过提交代码的方式由运营方进行验证，确保结果真实有效。这一系列举措旨在构建一个既开放透明又具备实战参考价值的语音识别评测体系。