OadTR: اكتشاف الأفعال عبر الإنترنت باستخدام المتحولات

النماذج الأكثر حداثة للكشف عن الأنشطة عبر الإنترنت تميل إلى تطبيق شبكة العصبونات التكرارية (RNN) للاستيلاء على البنية الزمنية طويلة المدى. ومع ذلك، تعاني RNN من عدم القدرة على العمل بالتوازي وانعدام التدرج، مما يجعلها صعبة في التحسين. في هذا البحث، نقترح إطارًا جديدًا للترميز والفك باستخدام تقنية Transformers، يُسمى OadTR، لحل هذه المشاكل. يتم ربط المُرمِّز برمز مهمة بهدف التقاط العلاقات والتفاعلات العالمية بين الملاحظات التاريخية. يقوم الفكودر باستخراج المعلومات المساعدة من خلال جمع تمثيلات المقاطع المستقبلية المتوقعة. وبالتالي، يمكن لـ OadTR أن يتعرف على الأنشطة الحالية من خلال ترميز المعلومات التاريخية وتوقع السياق المستقبلي في الوقت نفسه. قمنا بتقييم OadTR المقترح بشكل مكثف على ثلاثة مجموعات بيانات صعبة: HDD، TVSeries، و THUMOS14. تظهر نتائج التجارب أن OadTR يحقق سرعات تدريب واستدلال أعلى من النماذج الحالية التي تعتمد على RNN، ويتفوق بشكل كبير على أفضل الأساليب الموجودة حاليًا من حيث كل من mAP و mcAP. يمكن الوصول إلى الكود في https://github.com/wangxiang1230/OadTR.