HP-GAN: التنبؤ الحركي البشري ثلاثي الأبعاد عبر GAN

تنبؤ وفهم ديناميكيات الحركة البشرية له العديد من التطبيقات، مثل التركيب الحركي، والواقع المعزز، والأمن، والمركبات ذاتية القيادة. نتيجة للنجاح الحديث لشبكات التعلم المضاد التوليدية (GAN)، ازداد الاهتمام بتقدير الاحتمالات وتوليد البيانات الصناعية باستخدام هياكل الشبكات العصبية العميقة وخوارزميات التعلم.نقترح نموذجًا جديدًا من نوع seq2seq لتنبؤ الحركة البشرية على أساس الاحتمالات، مدربًا باستخدام إصدار معدل من شبكات التعلم المضاد التوليدية المحسنة (WGAN-GP)، حيث نستخدم دالة خسارة مخصصة مصممة لتنبؤ الحركة البشرية. يتعلم نموذجنا، الذي نسميه HP-GAN، دالة كثافة احتمالية للأشكال البشرية المستقبلية المشروطة بالأشكال السابقة. يقوم بتوقع سلاسل حركية متعددة محتملة للأشكال البشرية المستقبلية، كل منها من نفس سلسلة الإدخال ولكن بمتجه z مختلف يتم رسمه من توزيع عشوائي. بالإضافة إلى ذلك، لتقييم جودة التنبؤات غير المؤكدة، ندرب بشكل متزامن نموذج تقييم جودة الحركة الذي يتعلم احتمالية أن تكون سلسلة الهيكل العظمي المعطاة حركة بشرية حقيقية.نختبر خوارزميتنا على أكبر قاعدتين بيانات للهيكل العظمي: NTURGB-D وHuman3.6M. ندرب نموذجنا على أنواع واحدة ومتعددة من الأنشطة. يتم إظهار قوة تنبؤه في تقدير الحركة طويلة الأمد بإنتاج سلاسل حركية محتملة متعددة تتجاوز 30 إطارًا من مجرد 10 أطر مدخلة. نوضح أن معظم السلاسل المنتجة من نفس الإدخال لديها احتمالات تزيد عن 50٪ لتكون مصنفة كحركة بشرية حقيقية. سنقوم بنشر جميع الأكواد المستخدمة في هذا البحث على موقع Github.