التقاط كامل الجسم في الوقت الفعلي باستخدام كاميرا واحدة مع الاعتماد على الارتباطات بين الأجزاء

نقدم أول طريقة لالتقاط الجسم بالكامل في الزمن الفعلي، تُقدّر شكل الجسم والحركة معًا، بما في ذلك اليدين ونموذج وجه ثلاثي الأبعاد ديناميكي، من صورة لونية واحدة. تعتمد طريقتنا على بنية جديدة لشبكة عصبية تُستغل الترابطات بين الجسم والأيدي بفعالية حسابية عالية. على عكس الدراسات السابقة، يتم تدريب طريقتنا بشكل مشترك على مجموعات بيانات متعددة تركز على اليدين أو الجسم أو الوجه بشكل منفصل، دون الحاجة إلى بيانات تحتوي على تسميات لجميع الأجزاء في نفس الوقت، وهي مهمة أصعب بكثير في إنشائها بتنوع كافٍ. يمكّن هذا النوع من التدريب على بيانات متعددة من تحقيق قدرة تعميم متفوقة. وعلى عكس الطرق السابقة التي تعتمد على صورة واحدة لالتقاط الجسم بالكامل، تُقدّم طريقتنا التقاطًا أكثر تعبيرًا للهندسة ثلاثية الأبعاد للوجه وللألوان من خلال تقدير معاملات الشكل، والتعبير، والانعكاس (الألbedo)، والإضاءة لنموذج وجه إحصائي. تحقق طريقتنا دقة تنافسية في المعايير العامة، مع سرعة أكبر بشكل ملحوظ، وتقديم إعادة بناء للوجه أكثر شمولاً.