SIFU: دالة ضمنية مشروطة بالوجه الجانبي لإعادة بناء البشر الملبسين في العالم الحقيقي

إنشاء نماذج ثلاثية الأبعاد عالية الجودة للبشر الملبسين من صور فردية لتطبيقات العالم الحقيقي أمر حاسم. على الرغم من التقدم الحديث، فإن إعادة بناء البشر في أوضاع معقدة أو بملابس فضفاضة من صور عشوائية، بالإضافة إلى التنبؤ بالملمسات للأماكن غير المرئية، لا تزال تمثل تحديًا كبيرًا. أحد القيود الرئيسية للطرق السابقة هو عدم كفاية الإرشاد السابق في الانتقال من البعدين إلى الثلاثة أبعاد وفي التنبؤ بالملمس. رداً على ذلك، نقدم SIFU (دالة الضمنية المشروطة بالجانب لبناء البشر الملبسين قابل للتطبيق في العالم الحقيقي)، وهي طريقة جديدة تجمع بين محول فصل الجانب (Side-view Decoupling Transformer) وخط أنابيب تحسين الملمس المتسق ثلاثي الأبعاد. يستخدم SIFU آلية انتباه متقاطع داخل المحول، مستخدماً العناصر الطبيعية لـ SMPL-X كاستعلامات لإعادة تكوين خصائص الرؤية الجانبية بشكل فعال أثناء عملية تحويل الخصائص ثنائية الأبعاد إلى ثلاثية الأبعاد. هذه الطريقة لا تحسن دقة النماذج ثلاثية الأبعاد فحسب، بل تعزز أيضًا متانتها، خاصة عندما تكون تقديرات SMPL-X غير دقيقة تمامًا. يستفيد عملية تحسين الملمس لدينا من سابقة انتشار النص إلى الصورة لتوليد ملمسات واقعية ومتسقة للأوجه غير المرئية.من خلال التجارب الواسعة، يتفوق SIFU على أفضل الطرق الحالية في إعادة بناء الهندسة والملمس، مما يظهر متانته المعززة في السيناريوهات المعقدة ويحقق قياس تشامفر و P2S غير مسبوق. يمكن تطبيق طريقتنا على التطبيقات العملية مثل الطباعة ثلاثية الأبعاد وإنشاء المشاهد، مما يدل على نطاق استخدامها الواسع في سياقات العالم الحقيقي. صفحة المشروع: https://river-zhang.github.io/SIFU-projectpage/ .