HyperAIHyperAI

Command Palette

Search for a command to run...

UniCon: شبكة السياق الموحدة لاكتشاف المتحدث النشط بثبات

Yuanhang Zhang Susan Liang Shuang Yang Xiao Liu Zhongqin Wu Shiguang Shan Xilin Chen

الملخص

نقدم إطارًا جديدًا فعالًا، وهو شبكة السياق الموحدة (UniCon)، للكشف عن المتحدث النشط (ASD) بشكل متين. تتعامل الطرق التقليدية للكشف عن المتحدث النشط عادةً مع كل مسار وجه مرشح تم قصّه مسبقًا بشكل منفصل ولا تأخذ في الاعتبار العلاقات بين المرشحين بشكل كافٍ. وهذا قد يحد من الأداء، خاصة في السيناريوهات الصعبة التي تحتوي على وجوه ذات دقة منخفضة أو عدد كبير من المرشحين وما إلى ذلك. حلنا هو إطار جديد ومُوحَّد يركز على نمذجة أنواع متعددة من المعلومات السياقية بشكل مشترك: السياق المكاني للإشارة إلى موقع وحجم وجه كل مرشح، والسياق العلائقي لتقاطع العلاقات البصرية بين المرشحين والمقارنة بين التشابكات الصوتية والبصرية مع بعضها البعض، والسياق الزمني لتجميع المعلومات طويلة الأمد وتخفيف الغموض المحلي. بناءً على هذه المعلومات، يقوم نموذجنا بتحسين جميع المرشحين في عملية موحدة لتحقيق الكشف عن المتحدث النشط بشكل متين وموثوق. أجريت دراسة تقليص شاملة على عدة مقاييس صعبة للكشف عن المتحدث النشط تحت إعدادات مختلفة. وبشكل خاص، تتفوق طريقتنا على أفضل ما تم تحقيقه حتى الآن بمقدار حوالي 15% من قيمة الوسط الحسابي للدقة (mAP) المطلقة في مجموعتين صعبتين: الأولى تحتوي على ثلاثة مرشحين متحدثين، والثانية تحتوي على وجوه أصغر من 64 بكسل. مجتمعةً، تحقق UniCon نسبة mAP تبلغ 92.0% في مجموعة التحقق من صحة AVA-ActiveSpeaker، وهي تتخطى نسبة 90% لأول مرة في هذا المجموعة البيانات الصعبة عند تقديم البحث. موقع المشروع: https://unicon-asd.github.io/.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
UniCon: شبكة السياق الموحدة لاكتشاف المتحدث النشط بثبات | مستندات | HyperAI