HyperAIHyperAI
منذ 2 أشهر

شبكة انتباه ديناميكية-ثابتة مُدرَكة بالسياق المختلطة لتقييم الأفعال في مقاطع الفيديو الطويلة

Zeng, Ling-An ; Hong, Fa-Ting ; Zheng, Wei-Shi ; Yu, Qi-Zhi ; Zeng, Wei ; Wang, Yao-Wei ; Lai, Jian-Huang
شبكة انتباه ديناميكية-ثابتة مُدرَكة بالسياق المختلطة لتقييم الأفعال في مقاطع الفيديو الطويلة
الملخص

هدف تقييم جودة الحركة هو تقييم مقاطع الفيديو الرياضية. ومع ذلك، فإن معظم الأعمال الحالية تركز فقط على المعلومات الديناميكية للفيديو (أي، معلومات الحركة) وتتجاهل الأوضاع المحددة التي يقوم بها الرياضي في الفيديو، وهي مهمة لتقييم الحركة في مقاطع الفيديو الطويلة. في هذا العمل، نقدم شبكة ديناميكية-ثابتة جديدة ووعية بالسياق (ACTION-NET) لتقييم الحركة في مقاطع الفيديو الطويلة. لتعلم تمثيلات أكثر تمييزًا للفيديوهات، نتعلم ليس فقط المعلومات الديناميكية للفيديو ولكن أيضًا نركز على الأوضاع الثابتة للرياضيين المكتشفين في الإطارات المحددة، والتي تعبر عن جودة الحركة في أوقات معينة، بمساعدة الهندسة الديناميكية-الثابتة المقترحة. علاوة على ذلك، نستفيد من وحدة انتباه واعية بالسياق تتكون من وحدة شبكة تلافيفية رسومية زمنية لكل حالة ووحدة انتباه لكل التدفقات لاستخراج خصائص تدفق أكثر قوة، حيث تكون الأولى للبحث عن العلاقات بين الحالات والثانية لتعيين وزن مناسب لكل حالة. أخيرًا، ندمج خصائص التدفقتين لإرجاع الدرجة النهائية للفيديو تحت إشراف درجات الحقائق الأرضية التي يوفرها الخبراء. بالإضافة إلى ذلك، قدمنا مجموعة بيانات جديدة مجمعة ومصنفة للجمباز رитميكي (Rhythmic Gymnastics)، والتي تحتوي على مقاطع فيديو لأربع أنواع مختلفة من رoutines الجمباز الرسمية لتقييم جودة الحركة في مقاطع الفيديو الطويلة. النتائج التجريبية الواسعة تؤكد فعالية طريقة المقترحة لدينا، والتي تتفوق على الأساليب ذات الصلة. الكود والمجموعة البيانات متاحان على الرابط \url{https://github.com/lingan1996/ACTION-NET}.

شبكة انتباه ديناميكية-ثابتة مُدرَكة بالسياق المختلطة لتقييم الأفعال في مقاطع الفيديو الطويلة | أحدث الأوراق البحثية | HyperAI