Poly-GAN: GAN متعدد الشروط للتركيب الأزياء

نقدّم "Poly-GAN"، وهي معمارية جديدة لشبكة التوليد التنافسية المشروطة (Conditional GAN)، مُحفّزةً بتطبيق توليد الأزياء (Fashion Synthesis)، حيث يتم وضع الملابس تلقائيًا على صور نماذج بشرية بوضعيات متعددة وعشوائية. تتيح Poly-GAN التأثير بالعديد من المدخلات في آنٍ واحد، وتناسب العديد من المهام، بما في ذلك محاذاة الصور، ودمج الصور، وإعادة التكوين (inpainting). تعتمد الطرق الحالية على مسار مشابه، يُستخدم فيه ثلاث شبكات مختلفة لمحاذاة الملابس مع وضعية الجسم أولاً، ثم دمج الملابس المُحاذاة، وأخيرًا تحسين النتائج. أما Poly-GAN، فهي أول معمارية تستخدم بنية موحدة لأداء جميع المهام الثلاثة. تعتمد المعمارية الجديدة على فرض الشروط في جميع طبقات المُشفّر (encoder)، وتستخدم روابط تخطّي (skip connections) من الطبقات الخشنة في المُشفّر إلى الطبقات المقابلة في المُفكّك (decoder). تُمكّن Poly-GAN من إجراء تحويل مكاني للملابس بناءً على الهيكل RGB للنموذج بوضعية عشوائية. علاوةً على ذلك، يمكن لـ Poly-GAN إجراء دمج الصور بغض النظر عن اتجاه الملابس، وإجراء إعادة تكوين (inpainting) على ماسك الملابس عند وجود ثقوب غير منتظمة. تحقق أنظمتنا نتائج كمية متقدمة في مستوى التقنيات الحالية من حيث مقياس التشابه الهيكلي (Structural Similarity Index) ومقياس إنسيبشن (Inception Score)، باستخدام مجموعة بيانات DeepFashion.