فرانك موكاب: التقاط الحركة ثلاثية الأبعاد لليد والجسم من منظور واحد بسرعة من خلال الانحدار والتكامل

على الرغم من أن النبرة الأساسية للحركة البشرية تُنقل غالبًا كمزيج من حركات الجسم وحركات اليدين، فإن الطرق الحالية لاستشعار الحركة من صور مفردة (monocular motion capture) تركز في الغالب إما على استشعار حركة الجسم فقط مع تجاهل أجزاء اليد، أو على استشعار حركة اليد فقط دون أخذ حركة الجسم بعين الاعتبار. في هذه الورقة، نقدم نظامًا يُسمى FrankMocap، وهو نظام استشعار حركة قادر على تقدير حركة اليد والجسم ثلاثية الأبعاد من مدخلات مفردة في بيئات واقعية (in-the-wild) بسرعة أسرع (9.5 إطارًا في الثانية) ودقة أفضل مقارنةً بالطرق السابقة. يعمل منهجنا تقريبًا في الزمن الفعلي (9.5 إطارًا في الثانية)، ويُنتج نتائج استشعار حركة الجسم واليد ثلاثية الأبعاد كهيكل نموذجي موحد. ويهدف منهجنا إلى التقاط حركتي الجسم واليد ثلاثية الأبعاد بشكل متزامن من مقاطع فيديو مفردة صعبة في بيئات واقعية. لبناء نظام FrankMocap، قمنا بتطوير أحدث طريقة لاستشعار حركة اليد ثلاثية الأبعاد من صور مفردة، وذلك من خلال استخلاص جزء اليد من النموذج البارامتري للجسم الكامل (SMPL-X). ويمكن دمج نتيجة استشعار حركة اليد ثلاثية الأبعاد لدينا بشكل فعّال مع نتائج استشعار حركة الجسم من الصور المفردة، مما يُنتج نتائج حركة الجسم الكاملة ضمن هيكل نموذجي موحد. ونُظهر في هذه الورقة الأداء المتميز لنظام استشعار حركة اليد لدينا في معايير عامة، كما نُبرز جودة عالية لنتائج استشعار حركة الجسم الكاملة في مجموعة متنوعة من المشاهد الواقعية الصعبة، بما في ذلك سيناريو عرض مباشر (live demo).