HyperAIHyperAI
منذ 2 أشهر

جسر شرودنجر لتعزيز الكلام التوليدي

Ante Jukić; Roman Korostik; Jagadeesh Balam; Boris Ginsburg
جسر شرودنجر لتعزيز الكلام التوليدي
الملخص

يقترح هذا البحث نموذجًا لتحسين الكلام يعتمد على جسر شرودنغر (SB). يستخدم النموذج المقترح جسر شرودنغر قابل الحل لصياغة عملية بيانات-إلى-بيانات بين توزيع الكلام النقي وتوزيع الكلام الملوث بالضوضاء الملاحظ. يتم تدريب النموذج باستخدام خسارة التنبؤ بالبيانات، بهدف استعادة معاملات الكلام النقي ذات القيم المعقدة، ويُستخدم خسارة زمنية معاونة لتحسين تدريب النموذج. تم تقييم فعالية النموذج المقترح المستند إلى جسر شرودنغر في مهمتين مختلفتين لتحسين الكلام: إزالة الضوضاء وإزالة الصدى. أظهرت نتائج التجارب أن النموذج المقترح المستند إلى جسر شرودنغر يتفوق على النماذج المستندة إلى الانتشار من حيث مقاييس جودة الكلام وأداء نظام التعرف على الكلام (ASR)، مثل تحقيق انخفاض بنسبة 20% في معدل الأخطاء الكلامية بالنسبة لإزالة الضوضاء وانخفاض بنسبة 6% بالنسبة لإزالة الصدى مقارنة بأفضل نموذج مرجعي. كما أثبت النموذج المقترح كفاءة أفضل، حيث حقق جودة أعلى من النماذج المرجعية لنفس عدد خطوات العينة وبتكلفة حسابية أقل.