Transformers الموضعية (POTR): التنبؤ بحركة الإنسان باستخدام Transformers غير ذاتية التوليد

نقترح الاستفادة من هياكل الترانسفورمر (Transformer architectures) في توقع الحركة البشرية غير التلقائية (non-autoregressive). يعتمد نهجنا على فك تشفير العناصر بشكل متوازٍ من تسلسل استعلام (query sequence)، بدلًا من الاعتماد على التنبؤات السابقة كما هو الحال في النماذج الحديثة القائمة على الشبكات العصبية التكرارية (RNN). وبهذه الطريقة، يكون نهجنا أقل استهلاكًا للحسابات، وربما يتجنب تراكم الأخطاء في العناصر طويلة المدى ضمن التسلسل. وفي هذا السياق، تتمثل مساهماتنا في أربعة جوانب: (أولاً) نُصِف توقع الحركة البشرية كمشكلة تسلسل إلى تسلسل (sequence-to-sequence)، ونُقدّم نموذجًا غير تلقائي من نوع الترانسفورمر لاستنتاج تسلسلات المواقف (poses) بشكل متوازٍ؛ (ثانيًا) نقترح فك تشفير تسلسلات المواقف ثلاثية الأبعاد (3D poses) من تسلسل استعلام تم إنشاؤه مسبقًا باستخدام عناصر من التسلسل المدخل؛ (ثالثًا) نقترح إجراء تصنيف النشاطات القائمة على الهيكل العظمي (skeleton-based activity classification) باستخدام الذاكرة المُشفّرة (encoder memory)، بهدف تحسين التنبؤات من خلال تحديد نوع النشاط؛ (رابعًا) نُظهر أن النموذج، رغم بساطته، يحقق نتائج تنافسية على مجموعتي بيانات عامتين، وربما بشكل مفاجئ أكثر في التنبؤات قصيرة المدى مقارنةً بالتنبؤات طويلة المدى.