إعادة بناء الجسم والملابس ثلاثية الأبعاد من منظور واحد تحت وضعيات معقدة

أظهرت التطورات الحديثة في إعادة بناء الشكل البشري ثلاثي الأبعاد من صور واحدة نتائج مبهرة، مستفيدة من الشبكات العميقة التي تُمثّل ما يُعرف بـ"الدالة الضمنية" لتعلم حالة امتلاك النقاط الثلاثية الأبعاد الكثيفة بشكل عشوائي في الفضاء. ومع ذلك، فإن الخوارزميات الحالية القائمة على هذا النموذج، مثل PiFuHD، رغم قدرتها على تقدير هندسة الشكل البشري والملابس بدقة، فإنها تتطلب صورًا عالية الدقة كمدخلات، ولا تستطيع التعبير عن الوضعيات المعقدة للجسم. ويتم معظم التدريب والتقييم على صور ذات دقة 1000 بكسل للأشخاص واقفين أمام الكاميرا في وضعيات محايدة. في هذه الورقة، نستفيد من البيانات المتاحة للجمهور لتوسيع النماذج القائمة على الدالة الضمنية بحيث تتعامل مع صور للأشخاص تُظهر وضعيات متعددة وعضلات مُختبئة ذاتيًا. ونُقدّم رأينا بأن قدرة التمثيل للدالة الضمنية ليست كافية لتمثيل التفاصيل الهندسية والوضعية الجسمانية معًا في آنٍ واحد. ولذلك، نقترح نهجًا من الخشن إلى الدقيق، حيث نتعلم أولًا دالة ضمنية تُحوّل الصورة المدخلة إلى شكل ثلاثي الأبعاد للجسم بمستوى تفاصيل منخفض، لكنه يتناسب بشكل صحيح مع الوضعية البشرية الكامنة، حتى في حال تعقيدها. ثم نتعلم خريطة انزلاق (displacement map)، مشروطة بالسطح المُنَعّم والصورة المدخلة، والتي تُشفر التفاصيل عالية التردد في الملابس والجسم. وفي قسم التجارب، نُظهر أن هذا النهج من الخشن إلى الدقيق يُمثّل توازنًا ممتازًا بين تفاصيل الشكل ودقة الوضعية، متفوّقًا على أحدث النماذج المُتميزة في المجال. وسيتم إتاحة الكود الخاص بنا للجمهور.