HyperAIHyperAI

Command Palette

Search for a command to run...

التدريب المسبق ذاتي التوجيه الضعيف للكشف عن الأنشطة الزمنية

Kumara Kahatapitiya Zhou Ren Haoxiang Li Zhenyu Wu Michael S. Ryoo Gang Hua

الملخص

يهدف الكشف عن النشاط الزمني إلى التنبؤ بفئات النشاط لكل إطار، على عكس التنبؤات على مستوى الفيديو في تصنيف النشاط (أي التعرف على النشاط). وبسبب التكاليف العالية المرتبطة بوضع علامات على المستويات الإطارية المطلوبة للكشف، فإن حجم مجموعات بيانات الكشف محدود. وبالتالي، يعتمد عادةً العمل السابق في الكشف الزمني للنشاط على تحسين نموذج تصنيف مُدرّب مسبقًا على مجموعات بيانات تصنيف ضخمة (مثل Kinetics-400). ومع ذلك، فإن هذه النماذج المُدرّبة مسبقًا ليست مثالية للتكيف مع المهام التالية (downstream)، نظرًا للاختلاف بين مهام التدريب المسبق ومهام التحسين الدقيق (fine-tuning) اللاحقة. في هذه الدراسة، نقترح طريقة تدريب مسبقة مبتكرة تُعرف بـ"التدريب المسبق المُوجه ضعيفًا ذاتيًا" (weakly-guided self-supervised) للكشف. نستفيد من العلامات الضعيفة (التصنيف) لإدخال مهمة سابقة ذاتية (detection) من خلال إنشاء علامات افتراضية على مستوى الإطارات، وإطارات متعددة الأنشطة، ومقاطع أنشطة. وبعبارة بسيطة، نصمم مهمة كشف مشابهة للمهمة النهائية على بيانات تصنيف ضخمة، دون الحاجة إلى علامات إضافية. ونُظهر أن النماذج التي تم تدريبها مسبقًا باستخدام المهمة المُقترحة للكشف ذاتيًا موجهة ضعيفًا تتفوق على العمل السابق في عدة معايير صعبة للكشف عن النشاط، بما في ذلك Charades وMultiTHUMOS. كما توفر التحليلات الواسعة إشارات حول متى وكيفية استخدام النماذج المقترحة في الكشف عن النشاط. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/kkahatapitiya/SSDet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp