SelfRecon: إعادة بناء ذاتي لصورة رقمية شخصية من فيديو أحادي المنظور

نُقدِّم SelfRecon، وهي طريقة لإعادة بناء جسم الإنسان المُلبَّس تدمج بين التمثيل الضمني والصريح لاسترجاع هندسات متناسقة عبر الزمن من فيديو مفرد لشخص يدور ذاتيًا. تُطلَب من الطرق الصريحة وجود شبكة نموذج مُحدَّدة مسبقًا لسياق معين، لكن من الصعب الحصول على هذا النموذج المُسبق لشخص معين. علاوةً على ذلك، فإن التراكيب الثابتة تحد من دقة إعادة البناء وأنواع الملابس الممكنة. يتيح التمثيل الضمني تراكيبًا غير محدودة ويمكنه تمثيل أشكال هندسية عالية الدقة بفضل طبيعته المستمرة. ومع ذلك، يُعدّ من الصعب دمج معلومات من عدة إطارات لإنتاج تسلسل متناسق للتسجيلات، وهو ما يُعدّ ضروريًا لتطبيقات ما بعد المعالجة. نقترح دمج المزايا المُتاحة لكل من التمثيلين. نستخدم خسارة القناع التفاضلي للشبكة الصريحة لاسترجاع الشكل العام المتناسق، بينما يتم تحسين التفاصيل على السطح الضمني باستخدام التصوير العصبي التفاضلي. في الوقت نفسه، يتم تحديث الشبكة الصريحة دوريًا لمواكبة التغيرات في التراكيب، ويُصمم خسارة انسجام لتوحيد كلا التمثيلين. مقارنةً بالطرق الحالية، يمكن لـ SelfRecon إنتاج أسطح عالية الدقة لأشخاص مُلبَّسين بأي شكل، باستخدام تحسين ذاتي (self-supervised). تُظهر النتائج التجريبية الواسعة فعاليتها على مقاطع فيديو حقيقية مفردة. يُمكن الوصول إلى الكود المصدري عبر الرابط: https://github.com/jby1993/SelfReconCode.