HyperAIHyperAI

Command Palette

Search for a command to run...

SF-Net: إشراف إطار واحد للتحديد الزمني للإجراءات

Fan Ma Linchao Zhu Yi Yang Shengxin Zha Gourab Kundu Matt Feiszli Zheng Shou

الملخص

في هذه الورقة، ندرس شكلًا وسيطًا من أشكال التوجيه، ألا وهو التوجيه الإطاري الواحد، لتحديد الأفعال الزمنية (TAL). للحصول على التوجيه الإطاري الواحد، يُطلب من المُعلّقين تحديد إطار واحد فقط ضمن النافذة الزمنية للعملية. ويمكن أن يؤدي هذا إلى تقليل كبير في تكلفة العمل مقارنة بالتوظيف الكامل الذي يتطلب تحديد حدود العملية. مقارنةً بالتوظيف الضعيف الذي يُحدّد فقط التصنيف على مستوى الفيديو، فإن التوجيه الإطاري الواحد يُدخل إشارات زمنية إضافية للعملية مع الحفاظ على عبء التصنيف المنخفض. للاستفادة الكاملة من هذا النوع من التوجيه، نقترح نظامًا موحدًا يُسمى SF-Net. أولاً، نقترح توقع درجة "النشاط" (actionness score) لكل إطار في الفيديو. وبالإضافة إلى الدرجة الفئوية التقليدية، يمكن أن تقدم درجة النشاط معلومات شاملة حول حدوث عملية محتملة وتساعد في تحسين الحدود الزمنية أثناء الاستدلال. ثانيًا، نقوم باستخراج إطارات فعل افتراضية وإطارات خلفية افتراضية استنادًا إلى التصنيفات الإطارية الواحدة. نحدد إطارات الفعل الافتراضية من خلال توسيع كل إطار مُعلّم بشكل تكيفي إلى الإطارات المجاورة والمحفوفة بالسياق، ونستخرج إطارات الخلفية الافتراضية من جميع الإطارات غير المُعلّمة عبر عدة فيديوهات. وباستخدام هذه الإطارات المُعلّمة افتراضيًا إلى جانب الإطارات المُعلّمة الحقيقية، نستخدمها لتدريب المصنّف بشكل أكثر فعالية. في تجارب واسعة على مجموعات بيانات THUMOS14 وGTEA وBEOID، أظهر SF-Net تحسنًا ملحوظًا مقارنةً بأفضل الطرق المدعومة ضعيفًا من حيث دقة تحديد المقاطع ودقة تحديد الإطارات الفردية. وبشكل لافت، حقق SF-Net نتائج مماثلة لتلك التي تُحققها النماذج المدعومة بالكامل، رغم أن هذه النماذج تتطلب تكاليف تسمية أشد كلفة. يمكن الوصول إلى الكود عبر الرابط: https://github.com/Flowerfan/SF-Net.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp