البشر في الأبعاد الرباعية: إعادة بناء وتتبع البشر باستخدام المحولات

نُقدِّم نهجًا لإعادة بناء البشر وتتبعهم عبر الزمن. في جوهر هذا النهج، نقترح نسخة بالكامل "مُحَوَّلة إلى مُحَوِّل" (transformerized) لشبكة لاسترداد الشبكة البشرية (human mesh recovery). وتُعد هذه الشبكة، المعروفة بـ HMR 2.0، تقدمًا في مستوى التقنية الحالية، وتُظهر القدرة على تحليل وضعيات غير عادية كانت في الماضي صعبة إعادة بنائها من صور فردية. ولتحليل مقاطع الفيديو، نستخدم إعادة البناء ثلاثية الأبعاد الناتجة عن HMR 2.0 كمدخلات لنظام تتبع يعمل في الفضاء ثلاثي الأبعاد. وهذا يمكّننا من التعامل مع عدد متعدد من الأشخاص والحفاظ على هوياتهم خلال حالات التغطية (الإغلاق الجزئي). وتحقيقًا للنتائج المتميزة، يُعد النهج الكامل لدينا، 4DHumans، الأفضل في مجال تتبع البشر من مقاطع الفيديو المفردة (monocular video). علاوةً على ذلك، نُظهر فعالية HMR 2.0 في المهام اللاحقة مثل التعرف على الحركات، حيث حققنا تحسنًا ملحوظًا مقارنةً بالأساليب السابقة القائمة على الوضعية (pose-based action recognition). تتوفر الكودات والنموذج الخاص بنا على موقع المشروع: https://shubham-goel.github.io/4dhumans/.