تعلم أساليب الكلام الفردية للتركيب الدقيق للكلام من حركة الشفاه

يميل البشر بشكل غير إرادي إلى استنتاج أجزاء من المحادثة من حركات الشفاه عندما يكون الكلام غائباً أو مشوشاً بسبب الضوضاء الخارجية. في هذا البحث، نستكشف مهمة تحويل حركات الشفاه إلى الكلام، أي تعلم إنشاء كلام طبيعي بناءً على حركات شفاه المتحدث فقط. معترفين بأهمية الإشارات السياقية والخاصة بالمتحدث للقراءة الدقيقة للشفاه، نتبع مساراً مختلفاً عن الأعمال السابقة. نركز على تعلم التحويل الدقيق لسلسلة حركات الشفاه إلى الكلام لكل متحدث على حدة في بيئات ذات مفردات كبيرة وغير مقيدة. لهذا الغرض، جمعنا وأطلقنا مجموعة بيانات قياسية بحجم كبير، وهي الأولى من نوعها، خصيصاً لتدريب وتقييم مهمة تحويل حركات شفاه المتحدث الواحد إلى الكلام في بيئات طبيعية. نقترح نهجاً جديداً مع اختيارات تصميم رئيسية لتحقيق تحويل دقيق وطبيعي لحركات الشفاه إلى الكلام في مثل هذه البيئات غير المقيدة لأول مرة. أظهرت التقييمات الواسعة باستخدام مقاييس كمية وكيفية وتقييم بشري أن طريقتنا أكثر فهماً بأربع مرات من الأعمال السابقة في هذا المجال. يرجى مشاهدة الفيديو التوضيحي الخاص بنا للحصول على لمحة سريعة عن الورقة البحثية والمنهجية والنتائج الكيفية.https://www.youtube.com/watch?v=HziA-jmlk_4&feature=youtu.be