DyFADet: تجميع الميزات الديناميكي لاكتشاف الأنشطة الزمنية

النماذج المقترحة حديثًا للكشف عن الأحداث الزمنية (TAD) المستندة إلى الشبكات العصبية محدودة بطبيعتها في استخراج التمثيلات المميزة ونمذجة حالات الأحداث بطولات مختلفة من المشاهد المعقدة باستخدام رؤوس الكشف ذات الأوزان المشتركة. مستوحاةً من النجاحات في الشبكات العصبية الديناميكية، نقوم في هذا البحث ببناء وحدة تجميع خصائص ديناميكية (DFA) جديدة يمكنها التكيف مع أوزان النواة ومجالات الاستقبال في أوقات زمنية مختلفة بشكل متزامن. بناءً على DFA، تقوم الطبقة المُشفرة الديناميكية المقترحة بتجميع الخصائص الزمنية داخل نطاقات وقت الحدث وتضمن تمييز التمثيلات المستخرجة. بالإضافة إلى ذلك، يساعد استخدام DFA في تطوير رأس كشف ديناميكي (DyHead)، الذي يجمع الخصائص متعددة القياسات بشكل متكيف مع معلمات معدلة وحقول استقبال تم تعلمها بشكل أفضل لاكتشاف حالات الأحداث بمسافات متنوعة من الفيديوهات. باستخدام الطبقة المُشفرة المقترحة وDyHead، يحقق نموذج الكشف عن الأحداث الزمنية الديناميكي الجديد DyFADet أداءً واعدًا على سلسلة من مقاييس TAD الصعبة، بما في ذلك HACS-Segment، THUMOS14، ActivityNet-1.3، Epic-Kitchen 100، Ego4D-Moment Queries V1.0، وFineAction. تم إصدار الرمز المصدر إلى https://github.com/yangle15/DyFADet-pytorch.