من خلال مجموعة متنوعة من الدراسات، أصبح من الثابت الآن أن هناك فائدة كبيرة من دمج بيانات الفيديو والصوت في اكتشاف المتحدثين النشطاء. ومع ذلك، يمكن لأي من الوسائط أن يضلل الاندماج السمعي البصري عن طريق إدخال معلومات غير موثوقة أو مضللة. تتناول هذه الورقة البحثية مشكلة اكتشاف المتحدث النشط كمشكلة تعلم متعددة الأهداف للاستفادة من أفضل ما في كل وسيلة باستخدام نظام دمج وسائطي جديد يستند إلى الانتباه الذاتي وتقييم عدم اليقين (self-attention, uncertainty-based multimodal fusion scheme). تظهر النتائج التي تم الحصول عليها أن المعمارية المقترحة للتعلم متعدد الأهداف تتفوق على الأساليب التقليدية في تحسين كل من درجات mAP و AUC. نوضح أيضًا أن استراتيجيتنا للدمج تتفوق، في اكتشاف المتحدث النشط، على طرق دمج الوسائط الأخرى التي تم الإبلاغ عنها في مختلف التخصصات. وأخيرًا، نبين أن الطريقة المقترحة تحسن بشكل كبير الحالة المتقدمة للبيانات (AVA-ActiveSpeaker dataset).