نحو توليف صور الوجوه الواقعية عبر شبكات التوليد المعززة بالتركيب (Composition-Aided GANs)

يهدف توليد الصور الفوتوغرافية/الرسومية للوجه إلى إنتاج رسمة واجهة أو صورة فوتوغرافية مشروطة بصورة معطاة أو رسمة. له تطبيقات واسعة في مجالات الترفيه الرقمي وإنفاذ القانون. يظل الرسم الدقيق للصور الفوتوغرافية/الرسومية للوجه تحديًا بسبب القيود على الواقعية الهيكلية والاتساق النسيجي. رغم أن الأساليب الحالية تحقق نتائج مقنعة، فإنها غالبًا ما تنتج آثارًا ضبابية وتضويرًا كبيرًا في مكونات الوجه المختلفة، مما يؤدي إلى شعور غير حقيقي بالصور المركبة. لمواجهة هذا التحدي، نقترح في هذا العمل استخدام معلومات تركيب الوجه لمساعدة في توليد الرسمة الفوتوغرافية/الصورة. خصوصاً، نقترح شبكة معاكسة منتجة جديدة مدعومة بالتركيب (CA-GAN) لتوليد الرسومات الفوتوغرافية/الصور للوجه. في CA-GAN، نستخدم مدخلات متزامنة تتضمن صورة وجه ورسمة وملصقات وجه بكسلية متناظرة لإنتاج الرسمة/الصورة. بالإضافة إلى ذلك، لتركيز التدريب على المكونات الصعبة الإنتاج والهياكل الوجهي الدقيقة، نقترح خسارة إعادة التركيب التركيبية. أخيراً، نستخدم شبكات CA-GAN المتراكمة (SCA-GAN) لتصحيح العيوب وإضافة تفاصيل مقنعة بشكل أكبر. تظهر النتائج التجريبية أن طريقتنا قادرة على إنتاج رسومات واجهة/صور فوتوغرافية مرئيًا مريحة ومحتفظة بالهوية على نطاق واسع من البيانات الصعبة. حققت طريقتنا جودة قياسية حديثة، حيث خفضت المسافة الأفضل سابقًا بين Frechet Inception (FID) بمقدار كبير. علاوة على ذلك، أثبتنا أن الطريقة المقترحة لديها قدرة تعميم كبيرة. لقد جعلنا كودنا ونتائجنا متاحة للجمهور: https://fei-hdu.github.io/ca-gan/.