SPGISpeech: 5000 ساعة من الصوت المالي المُحوَّل إلى نص للاعتراف بالصوت من البداية إلى النهاية بتنسيق كامل

في مهمة التحويل الصوتي إلى نص (STT) باللغة الإنجليزية باستخدام التعلم الآلي، يُدرَّس النموذج الصوتي تقليديًا على أحرف لاتينية صغيرة (uncased)، ويتم إدخال أي تنسيق ضروري (مثل الحروف الكبيرة، علامات الترقيم، وتصحيح الكلمات غير القياسية) بواسطة نماذج ما بعد المعالجة المنفصلة. وهذا يضيف تعقيدًا ويحد من الأداء، لأن العديد من مهام التنسيق تستفيد من المعلومات الدلالية الموجودة في الإشارة الصوتية ولكنها غائبة في النص المحول. نقترح هنا مهمة جديدة لـ STT: التحويل العصبي من البداية إلى النهاية مع نص مُنسَّق بالكامل كوسيلة مُعلَّمة. نقدّم نماذج أساسية مبنية على معمارية Conformer، تم تدريبها على مجموعة بيانات مكوَّنة من 5000 ساعة من المكالمات المالية المحولة احترافيًا، وتحقق نسبة خطأ حروفية (CER) تبلغ 1.7. كمساهمة للمجتمع البحثي في مجال STT، نُطلق هذه المجموعة مجانًا للاستخدام غير التجاري عبر الرابط التالي: https://datasets.kensho.com/datasets/scribe.