تعلم اعتمادات مسارات التعلم لتنبؤ حركة الإنسان

تنبؤ الحركة البشرية، أي التنبؤ بوضعيات الجسم المستقبلية بناءً على تسلسل وضعيات مراقبة، تم التعامل معه عادة باستخدام الشبكات العصبية المتكررة (RNNs). ومع ذلك، كما أظهرت الدراسات السابقة، فإن نماذج RNN الناتجة تعاني من تراكم أخطاء التنبؤ، مما يؤدي إلى انقطاعات غير مرغوب فيها في تنبؤ الحركة. في هذا البحث، نقترح شبكة عميقة بسيطة ذات اتجاه واحد للتنبؤ بالحركة، والتي تأخذ في الاعتبار كلًا من الانسيابية الزمنية والارتباطات المكانية بين مفاصل الجسم البشري. وفي هذا السياق، نقترح ترميز المعلومات الزمنية عن طريق العمل في فضاء المسارات بدلاً من فضاء الوضعيات المستخدم تقليديًا. وهذا يعفينا من ضرورة تعريف نطاق الارتباطات الزمنية (أو حجم المرشح الزمني المتعدد) يدويًا كما هو الحال في الأعمال السابقة. بالإضافة إلى ذلك، يتم ترميز الارتباط المكاني لوضعية الجسم البشري من خلال التعامل مع وضعية الجسم كرسم بياني عام (بدلاً من شجرة الحركات العظمية البشرية) يتكون من روابط بين كل زوج من مفاصل الجسم. بدلاً من استخدام هيكل الرسم البياني المحدد مسبقًا، نصمم شبكة متعددة الرسوم البيانية جديدة لتعلم الروابط بشكل آلي. وهذا يسمح للشبكة باكتشاف ارتباطات بعيدة المدى تتجاوز تلك الموجودة في شجرة الحركات العظمية البشرية. قمنا بتقييم نهجنا على عدة مجموعات بيانات معيارية لتنبؤ الحركة، بما في ذلك Human3.6M وقاعدة بيانات التقاط الحركة CMU و 3DPW. وأظهرت تجاربنا بوضوح أن النهج المقترح يصل إلى أداء رائد في المجال ويستخدم لكلٍّ من تمثيلات الوضعيات القائمة على الزوايا والقائمة على المواقع. يمكن الوصول إلى الكود عبر الرابط:https://github.com/wei-mao-2019/LearnTrajDep