HyperAIHyperAI
منذ 11 أيام

التحديد الزمني للإجراءات مع تمييز فوري محسّن

Dingfeng Shi, Qiong Cao, Yujie Zhong, Shan An, Jian Cheng, Haogang Zhu, Dacheng Tao
التحديد الزمني للإجراءات مع تمييز فوري محسّن
الملخص

كشف الحدث الزمني (TAD) يهدف إلى اكتشاف جميع حدود الأحداث وفئاتها المقابلة في الفيديو غير المُعدّل. غالبًا ما تؤدي الحدود غير الواضحة للأحداث في الفيديوهات إلى تنبؤات غير دقيقة بحدود الأحداث باستخدام الطرق الحالية. ولحل هذه المشكلة، نقترح إطارًا أحادي المرحلة يُسمى TriDet. أولاً، نقترح "رأس ثلاثي" (Trident-head) لنمذجة حدود الحدث من خلال توزيع احتمالي نسبي مقدر حول الحد. ثم، نحلل مشكلة فقدان الترتيب (أي تدهور القدرة على التمييز الفوري) في الطرق القائمة على المحولات (transformer)، ونقترح طبقة فعالة وقابلة للتوسع تُسمى "الاستشعار بحجم مرن" (SGP) لتخفيف هذه المشكلة. ولتحقيق أقصى استفادة من القدرة على التمييز الفوري داخل النموذج الأساسي للفيديو، نستفيد من القدرة القوية على التمثيل للنماذج الكبيرة المُدرّبة مسبقًا ونستعرض أداؤها في مهمة TAD. وأخيرًا، وبما أن التصنيف يتطلب سياقًا مكانيًا-زمنيًا كافيًا، نصمم شبكة هرمية للسمات منفصلة (Decoupled Feature Pyramid Network) تضم هرمات سمات منفصلة لدمج سياق مكاني غني من النموذج الكبير في عملية التحديد. أظهرت النتائج التجريبية قوة مقاومة TriDet وأداؤه الريادي في مجموعة متنوعة من مجموعات بيانات TAD، بما في ذلك مجموعات بيانات TAD الهرمية (متعددة التصنيفات).

التحديد الزمني للإجراءات مع تمييز فوري محسّن | أحدث الأوراق البحثية | HyperAI