التحويل التسلسلي الفعّال من خلال التنبؤ المشترك بين الرموز (tokens) والفترات الزمنية

يُقدّم هذا البحث معمولًا جديدًا يُسمّى "مُحول الرموز والزمن" (TDT) لمهام التحويل التسلسلي. يمتد معمول TDT فوق المعمولات التقليدية من نوع RNN-Transducer من خلال التنبؤ بشكل مشترك برمز معين وطوله، أي عدد الإطارات المدخلة التي يغطيها الرمز المنبعث. يتم تحقيق ذلك من خلال استخدام شبكة مشتركة ذات مخرجين يتم تطبيع كل منهما بشكل منفصل لإنتاج توزيعات على الرموز والفترات الزمنية. أثناء الاستدلال، يمكن لمعمولات TDT تخطي إطارات مدخلة موجهة بواسطة المخرج الزمني المُنبّأ به، مما يجعلها أسرع بشكل ملحوظ من المعمولات التقليدية التي تعالج مخرجات المُشفّر إطارًا ب إطار. تحقق معمولات TDT دقة أفضل وأداءً أسرع بشكل كبير مقارنة بالمعمولات التقليدية في مهام مختلفة للتحويل التسلسلي. في مهام التعرف على الصوت، تحقق معمولات TDT دقة أفضل وسرعة استدلال تصل إلى 2.82 مرة مقارنة بالمعمولات التقليدية. في مهام ترجمة الصوت، تحقق معمولات TDT مكسبًا مطلقًا يتجاوز 1 نقطة BLEU على اختبار MUST-C مقارنة بالمعمولات التقليدية، مع تسريع في الاستدلال بنسبة 2.27 مرة. وفي مهام تصنيف نية الصوت وملء الحقول (Slot Filling)، تحسن معمولات TDT دقة نية الصوت بنسبة تصل إلى أكثر من 1% (مطلقًا) مقارنة بالمعمولات التقليدية، مع تسريع في الأداء يصل إلى 1.28 مرة. سيتم إتاحة تنفيذ معمول TDT مفتوح المصدر عبر أداة NeMo (https://github.com/NVIDIA/NeMo).