ثنائي الوكيل GANs لتركيب وجوه ملفية واقعية بصريًا وتحتفظ بالهوية

يُعد توليد وجوه واقعية من المprofilات واعدًا لتدريب نماذج عميقة مقاومة لاتجاه الوجه بكفاءة أكبر في مهام التعرف على الوجوه على نطاق واسع دون قيود، من خلال ملء العينات بزوايا متطرفة وتجنب التصنيف اليدوي المُرهق. ومع ذلك، قد لا يحقق التعلم من الصور الاصطناعية الأداء المرغوب نظرًا للاختلاف بين توزيع الصور الاصطناعية والواقعية. ولتقليل هذه الفجوة، نقترح نموذجًا يُسمى الشبكة التوليدية التنافسية ذات الوكيل المزدوج (DA-GAN)، الذي يمكنه تحسين واقعية صور المُحاكي الوجه باستخدام صور واقعية غير مُصنفة، مع الحفاظ على معلومات الهوية أثناء عملية تحسين الواقعية. تم تصميم الوكيلين المزدوجين خصيصًا لتمييز الصور الحقيقية عن المزيفة، والهوية في نفس الوقت. وبشكل خاص، نستخدم نموذج وجه ثلاثي الأبعاد جاهزًا كمحاكي لإنتاج صور وجوه من الجانب بزوايا مختلفة. يعتمد DA-GAN على شبكة توليد كاملة التوسع (Fully Convolutional Network) لتوليد صور عالية الدقة، وعلى مُميّز (Discriminator) يعتمد على مُشفّر تلقائي (Auto-encoder) يحتوي على الوكيلين المزدوجين. إلى جانب البنية المبتكرة، قمنا بإجراء عدة تعديلات جوهرية على الشبكة التوليدية التنافسية القياسية (GAN) للحفاظ على الاتجاه (pose) والملمس (texture)، والحفاظ على الهوية، وتحسين استقرار عملية التدريب: (أ) خسارة إدراك الاتجاه (pose perception loss)؛ (ب) خسارة إدراك الهوية (identity perception loss)؛ (ج) خسارة تنافسية تحتوي على حدّ تنظيمي مُوازن (boundary equilibrium regularization term). أظهرت النتائج التجريبية أن DA-GAN لا يقدم فقط نتائج بصرية مُقنعة، بل يتفوق بشكل كبير على أفضل النماذج الحالية في معيار التعرف على الوجوه غير المُحدّد NIST IJB-A على نطاق واسع وصعب. علاوة على ذلك، يُعد DA-GAN مُقترحًا واعدًا كطريقة جديدة لحل مشكلات التعلم الانتقالي العام (generic transfer learning) بشكل أكثر فعالية.