أطلق الفريق المسؤول عن لوحة مؤشرات التعرف الصوتي المفتوحة (Open ASR Leaderboard) تحديثًا كبيرًا يهدف إلى زيادة موثوقية التقييم ومنع التحيز في النتائج. تهدف هذه اللوحة منذ إطلاقها في سبتمبر 2023 إلى توفير معيار موحد لمقارنة نماذج التعرف على الكلام (ASR)، لكنها واجهت تحديًا شائعًا في مجال السباقات الرقمية يتمثل في "تضخيم النتائج" (Benchmaxxing)، حيث يقوم المطورون بتحسين نماذجهم خصيصًا لاختباراتهم المعلنة دون تطوير حقيقي لمهارات التعامل مع الواقع، وهو ما يُعرف بقانون غودهارت. لحماية نزاهة المؤشرات، تعاون فريق التقييم مع شركتين هما Appen وDataoceanAI لتقديم مجموعة بيانات خاصة وعالية الجودة تغطي الإنجليزية بسياقات متنوعة تشمل اللهجات الأسترالية والكندية والهندية والبريطانية والولايات المتحدة الأمريكية، بالإضافة إلى أنواع مختلفة من الكلام مثل المحادثات العفوية والكلام المقروء. تم تخصيص هذه البيانات لتكون سرية لضمان عدم تسربها إلى عملاء الشركات أو استخدامها في تدريب النماذج بشكل مفرط قبل الاختبار، مما يحمي من تلوث مجموعة الاختبار ويعكس الأداء الحقيقي للنماذج في بيئات غير خاضعة للسيطرة. تظل لوحة النتائج الافتراضية تعتمد فقط على مجموعات البيانات العلنية، ولا يتم دمج البيانات الخاصة في حساب متوسط خطأ الكلمة (WER) إلا إذا قام المستخدم بتفعيل خيار خاص، مما يمنح الباحثين والمطورين مرونة لتقييم مدى تأثير هذه البيانات على ترتيب النماذج. ويرجى ملاحظة أن الفريق لا يوضح درجات مفصلة لكل قسم فردي لتجنب تحفيز المطورين على تحسين أداء نموذجهم على لهجة أو شركة معينة فقط. بدلاً من ذلك، يتم تقديم نظرة شاملة تبرز الفجوات في الأداء بين السياقات الخاضعة للسيطرة والظروف الواقعية المعقدة. تستمر اللوحة في التأكيد على أن توحيد المعايير وانفتاح الكود المصدر هما ركيزتان أساسيتان لتقييم ذي معنى، لكن دمج بيانات خاصة يساعد في تعزيز الثقة بالنتائج. لا يزال الفريق مفتوحًا أمام مقدمي بيانات إضافيين لتوسيع قاعدة الاختبارات. كما يتم العمل حاليًا على تطوير تقييمات تعكس بشكل أفضل الظروف الصوتية الصعبة والضوضاء في العالم الحقيقي. في الوقت الراهن، يمكن للمطورين إضافة نماذجهم عبر رفع طلبات سحب (Pull Request) على منصة GitHub، حيث يتم التحقق من النتائج على البيانات العلنية ثم حساب المقاييس الخاصة، مع إمكانية عرض النتائج المبدئية وغير المؤكدة في بطاقة النموذج الخاصة بهم.