OpenASR リーダーボードは、モデルがベンチマークのスコア向上のみを目的として最適化する「ベンチマックス」現象への懸念に対応するため、高品質な非公開データセットを導入しました。Appen 社と DataoceanAI 社が提供するこれらのデータセットは、米国、英国、オーストラリア、インドなどの多様なアクセントを含む、脚本化された対話と非 scripted な会話データで構成されています。これにより、実世界での性能評価の信頼性が向上し、特定のモデルが公開テストセットに過学習するリスクを低減します。リーダーボードの平均 WER（単語誤り率）デフォルト設定では、依然として公開データセットのみに基づいて計算され、非公開データはオプションの切り替えで追加可能です。この機能により、利用者は標準的な条件と複雑な実環境の両方におけるモデルの挙動を比較できます。公開データセットのみを基準とすることで、コミュニティ全体で公平な競争環境を維持しつつ、非公開データを使用することでモデルの汎用性と偏りをより深く検証できる仕組みが構築されています。標準化とオープン性の重要性を維持しつつ、多様なデータプロバイダーを採用することで、特定の企業データに依存した優位性を防ぐ配慮もなされています。モデルの登録は GitHub 上のプルリクエストを通じて行われ、公開データでの検証を経て非公開データでの評価結果が計算されます。利用者は自社のモデルを非公式リーダーボードに登録することも可能です。今後は、ノイズ環境など実世界に近い条件での評価強化も検討されており、技術コミュニティからのフィードバックを基にさらに改善を進める方針です。このアップデートは、単一の「万能」ASR モデルが存在しないという現状を踏まえ、用途や環境に応じて最適なモデルを選定するための包括的な評価指標を提供することを目的としています。