Command Palette
Search for a command to run...
CoLA: التعرف على الأفعال الزمنية المُشرَفَة بشكل ضعيف باستخدام التعلم التبايني للقطع القصيرة
CoLA: التعرف على الأفعال الزمنية المُشرَفَة بشكل ضعيف باستخدام التعلم التبايني للقطع القصيرة
Can Zhang Meng Cao Dongming Yang Jie Chen Yuexian Zou
الملخص
يهدف التوصيف الزمني للإجراءات الضعيف المُشرَّف (WS-TAL) إلى تحديد مواقع الإجراءات في مقاطع الفيديو غير المُعدّلة باستخدام علامات فقط على مستوى الفيديو. تتبع معظم النماذج الحالية إجراء "التوصيف من خلال التصنيف": تحديد المناطق الزمنية التي تساهم أكثر في التصنيف على مستوى الفيديو. عادةً، تقوم هذه النماذج بمعالجة كل قطعة (أو إطار) بشكل منفصل، مما يؤدي إلى تجاهل العلاقات الزمنية الغنية الموجودة. ويظهر هنا مشكلة "الخداع بالقطعة الواحدة": تكون القطع "الصعبة" غامضة جدًا بحيث يصعب تصنيفها. في هذا البحث، نجادل بأن التعلّم من خلال المقارنة يساعد في التعرف على هذه القطع الصعبة، ونقترح استخدام التعلّم التبايني للقطع (Snippet Contrastive Learning) لتحديد الإجراءات، ونُسمّيه اختصارًا CoLA. بشكل محدد، نقترح دالة خسارة تُسمى SniCo (Snippet Contrast Loss) لتحسين تمثيل القطع الصعبة في الفضاء المميز، وهي توجه الشبكة لفهم الحدود الزمنية الدقيقة وتجنب الانقطاع في الفاصل الزمني. بالإضافة إلى ذلك، وبما أنه غير ممكن الوصول إلى علامات على مستوى الإطار، نقدّم خوارزمية استخراج القطع الصعبة (Hard Snippet Mining) لتحديد القطع الصعبة المحتملة. تُثبت التحليلات الواسعة أن هذه الاستراتيجية تُميّز بفعالية القطع الصعبة، وأن دالة SniCo تؤدي إلى تمثيل مميز أكثر إفادة. تُظهر التجارب الواسعة أن CoLA تحقق نتائج من الطراز الرائد على مجموعتي بيانات THUMOS'14 وActivityNet v1.2. ويمكن الوصول إلى كود CoLA بشكل عام عبر الرابط: https://github.com/zhang-can/CoLA.