الأجهزة المعززة للواقع لديها القدرة على تحسين الإدراك البشري وتمكين وظائف مساعدة أخرى في بيئات المحادثة المعقدة. لتحقيق التقاط السياق الصوتي والبصري اللازم لفهم هذه التفاعلات الاجتماعية، يتعين أولاً اكتشاف وتتبع نشاطات صوتية للمستخدم والأفراد المحيطين به. تعتبر هذه المهام تحديًا بسبب طبيعتها الذاتية المركزية: قد يتسبب حركة رأس المستخدم في تشويه الحركة، وقد يظهر الأفراد المحيطون بزوايا مشاهدة صعبة، كما قد تكون هناك عقبات، فوضى بصرية، ضوضاء صوتية وأضاء سيء. تحت هذه الظروف، لا تقدم الأساليب السابقة الرائدة في اكتشاف المتحدث النشط نتائج مرضية. بدلاً من ذلك، نعالج المشكلة من خلال إعداد جديد يستخدم الفيديو ومصفوفة متعددة القنوات من الميكروفونات الصوتية. نقترح نهجًا عميقًا للتعلم من النهاية إلى النهاية قادر على تقديم نتائج قوية لاكتشاف وتتبع النشاط الصوتي. على عكس الأساليب السابقة، يمكن لنهجنا تحديد موقع المتحدثين النشطين من جميع الاتجاهات المحتملة على الكرة الأرضية، حتى خارج مجال رؤية الكاميرا، مع اكتشاف نشاط الصوت الخاص بالمستخدم نفسه بشكل متزامن. تظهر تجاربنا أن الطريقة المقترحة تعطي نتائج أفضل، يمكن تنفيذها في الوقت الحقيقي وهي مقاومة للضوضاء والفوضى.