تنبؤ حركة الإنسان العالمية الشاملة المُراعية للاتصال المتدرج

تنبؤ الحركة البشرية العالمية المستندة إلى المشهد أمر بالغ الأهمية لتطبيقات متعددة، بما في ذلك الواقع الافتراضي والروبوتات والرياضة. يجمع هذا المهمة بين تنبؤ مسار الإنسان وتنبؤ وضعه (pose) ضمن السياق المكاني المعطى، وهو ما يمثل تحديًا كبيرًا.حتى الآن، كان فقط باحثو ماو وآخرون (Mao et al.) في مؤتمر NeurIPS 2022 هم من تناولوا التنبؤ بالحركة البشرية العالمية المستندة إلى المشهد، من خلال نموذج متسلسل يُقدّم أولاً نقاط التلامس المستقبلية في المشهد، ثم يُقدّم تنبؤًا بالحركة البشرية العالمية. وتم تنفيذ المرحلة الثانية كتنبؤ متكامل (end-to-end) للمسارات والوضعيات المستقبلية. ومع ذلك، فإن هذا النهج المتكامل يتعارض مع الطبيعة التدريجية من الخشنة إلى الدقيقة للعملية، مما يؤدي إلى أداء أقل، كما نُثبت ذلك تجريبيًا في هذه الدراسة.نُقدّم نموذجًا جديدًا يُسمى STAG (STaged contact-aware Global human motion forecasting)، وهو نموذج ثلاثي المراحل لتنبؤ الحركة البشرية العالمية في بيئة ثلاثية الأبعاد. في المرحلة الأولى، ننظر إلى المشهد والتفاعل البشري المتعلق به كنقاط تلامس. في المرحلة الثانية، نُعدّل نموذجًا لتنبؤ مسار الإنسان داخل المشهد، مع تنبؤ بحركة الجسم البشري بشكل عام (الحركة الخشنة). أما المرحلة الثالثة والأخيرة، فهي تتمحور حول مطابقة حركة مفصلية دقيقة للإنسان تكميلًا للمسار، مع أخذ نقاط التلامس المقدرة بعين الاعتبار.مقارنةً بأحدث النماذج (SoA)، حقق نموذج STAG تحسينًا إجماليًا بنسبة 1.8% في تنبؤ الوضعية و16.2% في تنبؤ المسار، على مجموعة بيانات GTA-IM المستندة إلى المشهد. كما أثبتت دراسة تحليلية شاملة مزايا النموذج المتسلسل مقارنة بالنماذج المتكاملة. علاوةً على ذلك، أثبتنا أهمية مفهوم جديد يُسمى "الزمن المتبقي" (time-to-go)، وهو مؤشر زمني يُشير إلى المدة الزمنية المتبقية حتى الوصول إلى نقاط التلامس أو النقاط النهائية في المشهد. من الجدير بالذكر أن نموذج STAG أظهر قدرته على التعميم على مجموعات بيانات لا تحتوي على معلومات عن المشهد، وحقق أداءً جديدًا في مستوى الحد الأقصى (state-of-the-art) على مجموعة بيانات CMU-Mocap، دون الاعتماد على أي معلومات اجتماعية. تم إتاحة الشفرة المصدرية للنموذج عبر الرابط التالي: https://github.com/L-Scofano/STAG