HyperAIHyperAI

Command Palette

Search for a command to run...

الميزة الموجهة بالتدفق البصري: تمثيل حركة سريع وقوي للاعتراف بحركات الفيديو

Shuyang Sun Zhanghui Kuang Lu Sheng Wanli Ouyang Wei Zhang

الملخص

تمثل حركة الأشياء دورًا مهمًا في التعرف على أفعال البشر في الفيديوهات.在这项研究中,我们介绍了一种新的紧凑型运动表示方法,用于视频动作识别,称为光流引导特征(OFF),该方法使网络能够通过快速且稳健的方法提取时间信息。OFF源自光流的定义,并且与光流正交。推导过程还为使用两帧之间的差异提供了理论支持。通过直接计算深层特征图的像素级时空梯度,可以将OFF嵌入任何现有的基于CNN的视频动作识别框架中,只需稍加额外成本。它使CNN能够同时提取时空信息,特别是帧间的时间信息。这个简单而强大的想法已通过实验结果得到验证。仅使用RGB输入的带有OFF的网络在UCF-101上的准确率达到93.3%,这与双流(RGB和光流)获得的结果相当,但速度提高了15倍。实验结果还表明,OFF与其他运动模式(如光流)具有互补性。当所提出的方法被集成到最先进的视频动作识别框架中时,在UCF-101和HMDB-51上的准确率分别为96.0%和74.2%。该项目的代码可在https://github.com/kevin-ssy/Optical-Flow-Guided-Feature 获取。为了更好地符合阿拉伯语表达习惯,以下是优化后的翻译:تمثل حركة الأشياء دورًا مهمًا في التعرف على أفعال البشر في مقاطع الفيديو. في هذه الدراسة، نقدم تمثيل حركة جديد ومدمج للاعتراف بالأفعال في الفيديو يُسمى "الميزات الموجهة بالتدفق البصري" (Optical Flow Guided Feature - OFF)، والذي يمكّن الشبكة من استخلاص المعلومات الزمنية عبر طريقة سريعة وموثوقة. يتم اشتقاق OFF من تعريف التدفق البصري وهو متعامد معه. كما أن عملية الاشتقاق تقدم دعمًا نظريًا لاستخدام الفرق بين الإطارات الثنائية. يمكن تضمين OFF مباشرة في أي إطار عمل قائم للشبكات العصبية المتشابكة (CNN) للاعتراف بالأفعال في الفيديو، بتكاليف إضافية طفيفة فقط، وذلك عن طريق حساب التدرجات الزمانية والمكانية لكل بكسل في الخرائط المميزة العميقة. هذا يجعل الشبكات العصبية المتشابكة قادرة على استخلاص المعلومات الزمانية والمكانية، وخاصة المعلومات الزمنية بين الإطارات بشكل متزامن. فكرة بسيطة ولكنها قوية تم تأكيدها من خلال النتائج التجريبية. حيث حققت الشبكة التي تتغذى بـ OFF باستخدام مدخلات RGB فقط دقة تنافسية بلغت 93.3٪ على مجموعة بيانات UCF-101، وهي نسبة دقيقة مقارنة بما تم الحصول عليه باستخدام تيارين (RGB والتدفق البصري)، لكنها أسرع بمقدار 15 مرة من حيث السرعة. كما أظهرت النتائج التجريبية أيضًا أن OFF مكمل للأنماط الحركية الأخرى مثل التدفق البصري. عند دمج الطريقة المقترحة في أفضل إطار عمل موجود للاعتراف بالأفعال في الفيديو، حققت دقة بلغت 96٪ و74.2٪ على مجموعتي بيانات UCF-101 وHMDB-51 على التوالي.رمز المشروع متاح على الرابط: https://github.com/kevin-ssy/Optical-Flow-Guided-Feature


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp