مرآة سحرية ثلاثية الأبعاد: إعادة بناء الملابس من صورة واحدة من منظور سببي

تهدف هذه الدراسة إلى دراسة طريقة ذاتية التدريب لإعادة بناء الملابس ثلاثية الأبعاد، والتي تُعيد استرداد الشكل الهندسي والملمس للملابس البشرية من صورة واحدة. مقارنةً بالطرق الحالية، نلاحظ أن هناك ثلاث تحديات رئيسية ما زالت قائمة: (1) غالبًا ما تكون الشبكات الحقيقية ثلاثية الأبعاد للملابس غير متوفرة بسبب صعوبة التصنيف وتكاليف الوقت المرتبطة بها؛ (2) تُعاني الطرق التقليدية القائمة على القوالب من قيود في نمذجة الأشياء غير المرنة، مثل الحقائب اليدوية والفساتين، والتي تُعد شائعة في الصور الأزيائية؛ (3) تؤدي الغموض المتأصّل في النموذج إلى تعقيد عملية تدريب النموذج، مثل التناقض بين شكل كبير مع كاميرا بعيدة أو شكل صغير مع كاميرا قريبة.في محاولة لمعالجة هذه القيود، نقترح طريقة تعتمد على التعلّم الذاتي مع إدراك للعوامل السببية، لاستعادة ثلاثية الأبعاد للأجسام غير المرنة من الصور الثنائية الأبعاد دون الحاجة إلى تسميات ثلاثية الأبعاد. وبشكل خاص، لحل الغموض المتأصّل بين أربع متغيرات غير مُعلنة، وهي: موقع الكاميرا، والشكل، والملمس، والإضاءة، نُقدّم خريطة سببية هيكلية قابلة للتفسير (SCM) لبناء نموذجنا. ويتبع هيكل النموذج المُقترح الروح الأساسية لخريطة السببية، حيث يُراعى بشكل صريح القالب الأولي في تقدير موقع الكاميرا وتوقع الشكل. وفي مرحلة التحسين، يتم دمج أداة التدخل السببي، أي حلقتين من التكرار الانتظاري-التحديثي (Expectation-Maximization)، بشكل عميق في خوارزميتنا بهدف (1) فصل أربعة مشغلات (encoders) و(2) تسهيل استخدام القالب الأولي. وقد أظهرت التجارب الواسعة على مBenchmarkين ثنائيي الأبعاد للأزياء (ATR وMarket-HQ) أن الطريقة المقترحة تُحقّق إعادة بناء ثلاثية الأبعاد عالية الوضوح. علاوةً على ذلك، قمنا أيضًا بتأكيد قابلية التوسع للطريقة المقترحة على مجموعة بيانات طيور دقيقة التفاصيل، وهي CUB. يمكن الوصول إلى الشفرة المصدرية من خلال الرابط التالي: https://github.com/layumi/3D-Magic-Mirror.