العالمان الأفضل: دمج النماذج القائمة على البيانات والتقنيات اللامعلمية لتقدير جسم الإنسان ثلاثي الأبعاد

لقد أظهرت الطرق المستندة إلى الأساليب اللامعلمية مؤخرًا نتائج واعدة في إعادة بناء الأجسام البشرية من الصور الأحادية، بينما يمكن للأساليب المستندة إلى النماذج أن تساعد في تصحيح هذه التقديرات وتحسين التنبؤ. ومع ذلك، قد يؤدي تقدير معلمات النموذج من خصائص الصورة العالمية إلى انحراف ملحوظ بين الشبكات المقدرة وأدلة الصورة. لمعالجة هذه المشكلة والاستفادة من أفضل ما في كلا العالمين، نقترح إطارًا يتكون من ثلاثة وحدات متتابعة. الوحدة الأولى هي وحدة التنبؤ بالخريطة الكثيفة، والتي تقوم بتأسيس التوافق الكثيف UV بشكل صريح بين أدلة الصورة وكل جزء من نموذج الجسم. الوحدة الثانية هي وحدة الحركيات العكسية (Inverse Kinematics)، التي تكرر تحسين التنبؤ بالنقاط الرئيسية وتولد شبكة قالب مرتبة. وأخيرًا، الوحدة الثالثة هي وحدة إكمال UV (UV Inpainting)، والتي تعتمد على الخصائص والتنبؤ المقابل والقالب المرتب، وتقوم بإكمال تنبؤات شكل الجسم المحجب جزئيًا. يعتمد إطارنا على أفضل ما في الأساليب اللامعلمية والنماذج القائمة على المعلمات وهو أيضًا مقاوم للحجب الجزئي. تُظهر التجارب أن إطارنا يتفوق على طرق تقدير الإنسان ثلاثي الأبعاد الموجودة حاليًا في عدة مقاييس عامة.