شبكات SpotFast مع مُحوّلات جانبية مُعززة بالذاكرة للقراءة الشفوية

تقدم هذه الورقة معمارية جديدة للتعلم العميق لقراءة الشفاه على مستوى الكلمة. تشير الدراسات السابقة إلى إمكانية دمج شبكات عصبية تلافيفية ثلاثية الأبعاد عميقة مُدرَّبة مسبقًا كمُستخرج ميزات في المرحلة الأولى. نُقدّم شبكة SpotFast، وهي نسخة معدلة من شبكات SlowFast المتطورة حاليًا لتمييز الحركات، والتي تستخدم نافذة زمنية كمسار "نقطي" (spot pathway) وجميع الإطارات كمسار "سريع" (fast pathway). بالإضافة إلى ذلك، نُدمج محولات جانبية مُزوَّدة بذاكرة لتعلم الميزات التسلسلية من أجل التصنيف. قُمنا بتقييم النموذج المقترح على مجموعة بيانات LRW، وأظهرت التجارب أن النموذج المُقترح يتفوّق على العديد من النماذج المتطورة حاليًا، كما أن دمج المحولات الجانبية المُزوَّدة بذاكرة يُحقّق تحسنًا بنسبة 3.7% في أداء شبكة SpotFast.