GANs قابلة للتشويه لإنشاء صور بشرية بناءً على الوضعية

في هذا البحث، نتناول مشكلة إنشاء صور للأشخاص بناءً على وضعية معينة. بتحديد، عند توفر صورة لشخص ووضعية مستهدفة، نقوم بإنشاء صورة جديدة لهذا الشخص في الوضعية الجديدة. من أجل التعامل مع الاختلالات البكسلية الناجمة عن اختلافات الوضعيات، نقدم اتصالات تخطي قابلة للتشوه (deformable skip connections) في مولد شبكتنا المولدة المضادة (Generative Adversarial Network). بالإضافة إلى ذلك، تم اقتراح خسارة أقرب جار بدلاً من الخسائر الشائعة L1 و L2 من أجل مطابقة تفاصيل الصورة المنشأة مع الصورة المستهدفة. نختبر نهجنا باستخدام صور لأشخاص في وضعيات مختلفة ونقارن طريقتنا مع الأعمال السابقة في هذا المجال، مما يظهر نتائج رائدة في معيارين تقييميين. يمكن تطبيق طريقتنا على مجال أوسع لإنشاء الأشياء القابلة للتشوه، شرط أن يمكن استخراج وضعية الجسم المتحرك باستخدام كاشف النقاط الرئيسية (keypoint detector).