تنبؤ الوضع البشري دون اعتبار للحركة

تنبؤ وتقدير الديناميكيات البشرية هو مهمة مثيرة للاهتمام ولكنها صعبة، ولديها العديد من التطبيقات الواعدة في مجال الروبوتات والرعاية الصحية وغيرها. مؤخرًا، تم تطوير عدة طرق للتنبؤ بوضعية الإنسان؛ ومع ذلك، غالباً ما تقدم هذه الطرق عددًا من القيود في إعداداتها. على سبيل المثال، ركزت الأعمال السابقة إما على التنبؤات قصيرة الأجل أو طويلة الأجل فقط، مع التضحية بالأخرى. بالإضافة إلى ذلك، شملت هذه الطرق علامات النشاط كجزء من عملية التدريب، وتتطلبها عند الاختبار. هذه القيود تحصر استخدام نماذج التنبؤ بوضعية الإنسان في التطبيقات الحقيقية، حيث غالبًا ما لا توجد تعليقات متعلقة بالنشاط للسيناريوهات الاختبارية.في هذا البحث، نقترح طريقة جديدة غير مرتبطة بالفعل (action-agnostic) للتنبؤ بوضعية الإنسان قصيرة وطويلة الأجل. لهذا الغرض، نقترح شبكة عصبية متكررة جديدة لنمذجة الخصائص الهرمية متعددة المقاييس للديناميكيات البشرية، والتي نشير إليها بشبكة العصبية المثلثة المضلعة (TP-RNN). يلتقط نموذجنا البنية الهرمية الكامنة في سلاسل وضعيات الإنسان الزمنية من خلال ترميز الاعتمادات الزمنية بمعدلات زمنية مختلفة. للاقتصاص، أجرينا مجموعة واسعة من التجارب على مجموعتي بيانات Human 3.6M وPenn Action وأظهرنا أن طريقتنا تتفوق على الأساليب الأساسية وأساليب الطليعة كمياً ونوعياً. الرموز متاحة على الرابط: https://github.com/eddyhkchiu/pose_forecast_wacv/