SCANimate: تعلّم مراقبة ضعيفة لشبكات الأفاتار المُغطاة بالجلد

نقدّم SCANimate، وهي إطار عمل قابل للتدريب من البداية إلى النهاية، يأخذ المسح ثلاثي الأبعاد الخام لشخص يرتدي ملابس ويحوّله إلى هوية قابلة للتحريك. تُشغّل هذه الهويات بواسطة معلمات الوضعية، وتمتلك ملابس واقعية تتحرك وتتشوّه بشكل طبيعي. لا تعتمد SCANimate على نموذج شبكي مخصص أو تسجيل للشبكة السطحية. لاحظنا أن تكييف نموذج جسم ثلاثي الأبعاد معلميًا، مثل SMPL، مع مسح لشخص يرتدي ملابس أمر ممكن، في حين أن تسجيل التوبولوجيا السطحية للجسم مع المسح غالبًا ما يكون غير عملي، نظرًا لأن الملابس قد تختلف بشكل كبير عن شكل الجسم. كما لاحظنا أن التحولات المفصولة قابلة للعكس، مما يؤدي إلى اتساق هندسي دوري في الأشكال المُحَوَّلة وغير المُحَوَّلة. واستنادًا إلى هذه الملاحظات، طوّرنا طريقة تعلّم ضعيفة الإشراف تُحاكي المسح في وضعية قياسية من خلال فصل التشوهات المفصولة دون الحاجة إلى تسجيل سطحي مبني على نموذج معياري. علاوة على ذلك، لاستكمال المناطق المفقودة في المسح المُحاكي مع نمذجة التشوهات المعتمدة على الوضعية، قمنا بتطوير دالة ضمنية محلية تُراعي الوضعية، والتي تتعلّم استكمال الشكل الهندسي ونمذجته باستخدام تصحيحات وضعية مُكتسبة. وعلى عكس التضمينات الوضعية العالمية المستخدمة غالبًا، يقلل التكييف الوضعي المحلي بشكل كبير من الارتباطات الزائفة على مسافات طويلة، ويعزز التعميم على الوضعيات غير المرئية، خصوصًا عندما تكون بيانات التدريب محدودة. يمكن تطبيق طريقة العمل هذه على نمذجة المظهر القابل للوضعية لإنتاج هوية مُغطاة بالكامل بملمس. وقد أظهرنا كفاءة منهجنا على أنواع مختلفة من الملابس وبكميات مختلفة من بيانات التدريب، حيث تفوق الحلول الحالية وأشكالها الأخرى من حيث الدقة والعمومية في كل البيئات. يُمكن الوصول إلى الكود عبر الرابط: https://scanimate.is.tue.mpg.de.