MSR-GCN: شبكات الت convolution الرسومية ذات التحسين المتعدد المقياس للتنبؤ بالحركة البشرية

إن توقع حركة الإنسان يُعد مهمة صعبة نظرًا للعشوائية وعدم التكرار في وضعيات المستقبل. في الآونة الأخيرة، أثبتت الشبكات التلافيفية الرسومية (Graph Convolutional Networks) فعاليتها الكبيرة في تعلم العلاقات الديناميكية بين مفاصل الوضعية البشرية، مما يُسهم بشكل كبير في توقع الوضعيات. من ناحية أخرى، يمكن استخلاص وضعية إنسان بشكل تكراري للحصول على مجموعة من الوضعيات على مقاييس متعددة. ومع زيادة مستوى الاستخلاص، تصبح حركة الوضعية أكثر استقرارًا، مما يُفيد أيضًا في توقع الوضعيات. في هذه الورقة، نقترح شبكة تلافيفية رسومية متعددة المقاييس ذات بقايا (MSR-GCN) جديدة لمهام توقع الوضعية البشرية بطريقة نهاية إلى نهاية (end-to-end). تُستخدم الشبكات التلافيفية الرسومية لاستخراج الميزات من المقياس الدقيق إلى المقياس الخشن، ثم من المقياس الخشن إلى المقياس الدقيق. بعد ذلك، تُدمج الميزات المستخرجة على كل مقياس، وتُفكَّك لاستخراج القيم المتبقية بين الوضعية المدخلة والوضعية المستهدفة. كما يتم تطبيق رقابة وسطى (Intermediate supervision) على جميع الوضعيات المتنبأ بها، مما يُجبر الشبكة على تعلُّم ميزات أكثر تمثيلية. تم تقييم النهج المقترح على مجموعتي بيانات معياريتين شهيرتين، وهما مجموعة بيانات Human3.6M وبيانات CMU Mocap. وأظهرت النتائج التجريبية أن طريقة التنبؤ لدينا تتفوق على الطرق الحالية المتطورة. يمكن الوصول إلى الكود والنموذج المدرب مسبقًا عبر الرابط التالي: https://github.com/Droliven/MSRGCN.