أظهرت الدراسات الحديثة بنجاح أن النماذج اللغوية الكبيرة (LLMs) يمكن استخدامها بنجاح لتصحيح الأخطاء التوليدية (GER) فوق مخرجات التعرف التلقائي على الكلام (ASR). بصفة خاصة، يتم استخدام نموذج لغوي كبير لتنفيذ تعيين مباشر من قائمة الفرضيات N-الأفضل التي تم إنشاؤها بواسطة نظام ASR إلى الترجمة المتنبأ بها. ومع ذلك، رغم فعاليتها، فإن GER تدخل عدم يقين إضافي في البيانات لأن النموذج اللغوي الكبير يتم تدريبه دون الأخذ في الاعتبار المعلومات الصوتية المتاحة في الإشارة الصوتية. في هذا العمل، نهدف إلى التغلب على هذه القيود من خلال دمج المعلومات الصوتية قبل إنشاء الترجمة المتنبأ بها عبر حل جديد للدمج المتأخر يُسمى الدمج الديناميكي الواعي بعدم اليقين (UADF). يعتبر UADF نهجًا متعدد الوسائط للدمج يتم تنفيذه ضمن عملية فك التشفير الذاتي التنظيم ويعمل في مرحلتين: (i) يقوم أولاً بتحليل وتوفيق قرار النموذج اللغوي الكبير على مستوى الرمز، و(ii) ثم يقوم بدمج المعلومات من الوسيط الصوتي بطريقة ديناميكية. تشير الأدلة التجريبية المستخلصة من مهام مختلفة للتعرف التلقائي على الكلام إلى أن UADF يتفوق على آليات الدمج الموجودة بعدة جوانب. فهو يحقق تحسينات كبيرة في معدل الخطأ الكلامي (WER) بينما يخفف مشكلة عدم اليقين في البيانات بالنسبة للنموذج اللغوي الكبير ويتعامل مع ضعف التعميم المرتبط بوسيط واحد فقط أثناء الدمج. كما نوضح أيضًا أن UADF يتكيف بسلاسة مع التعرف التلقائي على الكلام السمعي البصري.