HyperAIHyperAI

Command Palette

Search for a command to run...

شبكة التوافق عبر الوسائط للتحديد الزمني للإجراءات بوساطة مراقبة ضعيفة

Fa-Ting Hong Jia-Chang Feng Dan Xu Ying Shan Wei-Shi Zheng

الملخص

تُعد مهمة تحديد الحدث الزمني المُدرَّس ضعيفًا (WS-TAL) مهمة صعبة تهدف إلى تحديد حالات الأحداث في الفيديو المعطى باستخدام مراقبة على مستوى الفيديو فقط. في الدراسات السابقة، تم استخدام كلا من ميزات المظهر والحركة، ولكن لم تُستخدم هذه الميزات بطريقة مناسبة، بل تم تطبيق تجميع بسيط أو دمج على مستوى الدرجات. في هذا العمل، نجادل بأن الميزات المستخرجة من المستخرج المُدرَّب مسبقًا، مثل I3D، ليست ميزات مخصصة لمهام WS-TAL، وبالتالي يُعد إعادة ضبط الميزات ضروريًا لتقليل التكرار غير المرتبط بالمهام. لذلك، نقترح شبكة اتساق عبر الوسائط (CO2-Net) لمعالجة هذه المشكلة. في CO2-Net، نُقدِّم بشكل رئيسي وحدتين متماثلتين من وحدات الاتساق عبر الوسائط المقترحة (CCM)، والتي تُصمم آلية انتباه عبر الوسائط لتصفية التكرار غير المرتبط بالمهام باستخدام المعلومات الشاملة من الوسائط الأساسية والمعلومات المحلية عبر الوسائط من الوسائط المساعدة. علاوةً على ذلك، نُعامل الأوزان الانتباه المستمدة من كل وحدة CCM كأهداف افتراضية للأوزان الانتباه المستمدة من الوحدة الأخرى، بهدف الحفاظ على الاتساق بين التنبؤات المستمدة من الوحدتين، مما يشكل نمطًا تعلمًا تبادليًا. أخيرًا، أجرينا تجارب واسعة على مجموعتي بيانات شائعتين لتحديد الحدث الزمني، وهما THUMOS14 وActivityNet1.2، لاختبار طريقة العمل وتحقيق نتائج متقدمة على مستوى الحالة الحالية. تُظهر النتائج التجريبية أن وحدة الاتساق عبر الوسائط المقترحة قادرة على إنتاج ميزات أكثر تمثيلية لتحديد الحدث الزمني.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp