التعرف على الكلام المرئي في نظام مساعدة السائق

تمثّل اعترافات الكلام البصري أو القراءة التلقائية للشفاه مجالًا يشهد اهتمامًا متزايدًا. وقد أثبتت بيانات الفيديو فعاليتها في التعرف على الكلام متعدد الوسائط، خاصةً عندما تكون البيانات الصوتية ملوثة بشدة أو غير متوفرة على الإطلاق. في هذا البحث، نقدّم طريقة جديدة للتعرف على الكلام البصري. وقد قمنا بتجريبها على مجموعة بيانات LRW الشهيرة الخاصة بقراءة الشفاه، حيث تفوقت على الطرق الحالية. وبعد تقييم شامل، قمنا بتعديل الطريقة المطورة واختبارها على مجموعة بيانات RUSAVIC التي جمعناها في البيئة الطبيعية (in-the-wild) لسائقي المركبات. وأظهرت النتائج التي تحققت ليس فقط الأداء العالي للطريقة المقترحة، بل أيضًا الإمكانية الأساسية للتعرف على الكلام باستخدام وسيلة الفيديو وحدها، حتى في ظروف طبيعية صعبة كقيادة المركبات.