Command Palette
Search for a command to run...
نماذج GAN القابلة للتشوه لتحرير الصور البشرية القائمة على الوضعية
نماذج GAN القابلة للتشوه لتحرير الصور البشرية القائمة على الوضعية
Siarohin Aliaksandr Sangineto Enver Lathuiliere Stephane Sebe Nicu
الملخص
في هذه الورقة، نتناول مشكلة إنشاء صور لأفراد بشريين بشرط إعطاء وضعية معينة. وبشكل خاص، وباستخدام صورة لشخص معين ووضعية مستهدفة، نُولِّد صورة جديدة لهذا الشخص في وضعية جديدة. ولمعالجة التمايزات بين البكسلات الناتجة عن الاختلافات في الوضعية، نُقدِّم اتصالات متغيرة الشكل (deformable skip connections) في المُولِّد (generator) لشبكة التوليد المُعاكسة (Generative Adversarial Network). علاوةً على ذلك، نُقترح استخدام خسارة الجار الأقرب (nearest-neighbour loss) بدلًا من الخسائر الشائعة L1 وL2، بهدف مطابقة التفاصيل الدقيقة في الصورة المولَّدة مع الصورة المستهدفة. وقد قُمنا باختبار منهجنا باستخدام صور لأفراد في وضعيات مختلفة، وقورنَّا أداؤنا مع الطرق السابقة في هذا المجال، ونُظهر نتائج تُعدّ من أفضل النتائج المُحقَّقة في معيارين معياريين (benchmarks). ويمكن تطبيق منهجنا في مجال أوسع من توليد الأشكال المُتغيرة الشكل (deformable object generation)، شريطة أن تُستَخلَص الوضعية للجسم المتحرك (articulated object) باستخدام كاشف النقاط الأساسية (keypoint detector).