فرانك موكاب: نظام لتقدير وضع الجسم الكامل ثلاثي الأبعاد من صورة واحدة من خلال الانحدار والتكامل

تُركّز معظم الطرق الحالية لاستخراج الوضع ثلاثي الأبعاد من منظور واحد على جزء واحد من الجسم فقط، مع تجاهل حقيقة أن الدقة الجوهرية للحركة البشرية تُنقل من خلال تعاون دقيق بين حركات الوجه واليدين والجسم. في هذه الورقة، نقدّم فرانكموكاب (FrankMocap)، نظامًا سريعًا ودقيقًا لاستخراج الوضع ثلاثي الأبعاد للجسم كاملاً، قادر على إنتاج تمثيلات ثلاثية الأبعاد للوجه واليدين والجسم معًا من صور منظور واحد واقعية (in-the-wild). الفكرة الأساسية في فرانكموكاب تكمن في تصميمها الوظيفي (modular): نقوم أولاً بتشغيل طرق استرجاع الوضع ثلاثي الأبعاد للوجه واليدين والجسم بشكل منفصل، ثم ندمج النتائج الناتجة من هذه العمليات عبر وحدة تكامل. تسمح وحدات الاسترجاع المنفصلة لنا باستغلال أقصى إمكانات أدائها المتطورة دون التضحية بالدقة والموثوقية الأصلية في التطبيق العملي. قمنا بتطوير ثلاث وحدات تكامل مختلفة، تُعدّل بين زمن الاستجابة (التأخير) والدقة. جميعها قادرة على تقديم حلول بسيطة لكنها فعّالة لدمج النتائج المنفصلة إلى نتائج متماسكة لاستخراج الوضع ثلاثي الأبعاد للجسم كاملاً. أظهرنا بشكل كمي ونوعي أن نظامنا المُصمّم وظيفيًا يتفوق على الطرق القائمة على التحسين (optimization-based) والطرق المتكاملة من الطرف إلى الطرف (end-to-end) في استخراج الوضع ثلاثي الأبعاد للجسم كاملاً.