Transformer مُعزِّز عبري لتقسيم الحركات

تمّ اعتماد التباديل الزمنية (Temporal convolutions) كنمط مفضل في تقسيم الحركات، حيث تُعزّز المجالات المستقبلية الطويلة من خلال زيادة عدد طبقات التبديل. ومع ذلك، فإن الطبقات العالية تؤدي إلى فقدان المعلومات المحلية الضرورية للتعرف على الإطارات. ولحل هذه المشكلة، تم اقتراح بنية مشفرة-فكّر جديدة في هذه الورقة تُسمّى "مُحَوِّل التحسين المتبادل" (Cross-Enhancement Transformer). يمكن لنهجنا التعلّم الفعّال لتمثيل البنية الزمنية باستخدام آلية الانتباه المُتَفاعِلة ذاتيًا. حيث يتم دمج كل طبقة من خرائط الميزات التباديلية في المشفر مع مجموعة من الميزات في فكّر تم إنتاجها عبر الانتباه الذاتي. وبالتالي، يتم استخدام المعلومات المحلية والعالمية معًا في سلسلة من الحركات الإطاراتية في آنٍ واحد. بالإضافة إلى ذلك، تم اقتراح دالة خسارة جديدة لتعزيز عملية التدريب، حيث تُعاقب على أخطاء التقسيم الزائد. أظهرت التجارب أن إطار عملنا يحقق أداءً متفوقًا على مستوى الحالة الحالية (state-of-the-art) على ثلاث مجموعات بيانات صعبة: 50Salads، وGeorgia Tech Egocentric Activities، وقاعدة بيانات Breakfast.