تقرير NUS-HLT لتحدي ActivityNet 2021 AVA (المتحدث)

يهدف الكشف عن المتكلم النشط (ASD) إلى تحديد من هو المتكلم في مشهد بصري يتضمن متحدثًا واحدًا أو أكثر. ويُعتمد نجاح نظام الكشف على فهم دقيق للمعلومات الصوتية والبصرية قصيرة المدى وطويلة المدى، فضلًا عن التفاعل بين المدخلات الصوتية والبصرية. على عكس الدراسات السابقة التي اعتمدت على اتخاذ قرارات فورية باستخدام ميزات قصيرة المدى، نقترح إطارًا جديدًا يُسمى TalkNet، يتخذ قراراته من خلال أخذ الميزات قصيرة المدى وطويلة المدى في الاعتبار معًا. يتكون TalkNet من معالجات زمنية صوتية وبصرية لتمثيل الميزات، وآلية انتباه متقاطع بين الصوت والصورة لتمثيل التفاعل بين الوسائط، بالإضافة إلى آلية انتباه ذاتي لاستخلاص الأدلة الطويلة المدى المتعلقة بالكلام. تُظهر التجارب أن TalkNet حقق تحسنًا بنسبة 3.5% و3.0% مقارنة بأنظمة الحالة الحالية على مجموعة بيانات AVA-ActiveSpeaker الخاصة بالتحقق والاختبار، على التوالي. وسنُطلق كود النظام، والنموذج، وسجلات البيانات.