التعلم شبه المشرف مع الخصم لإنشاء صور وجوه جديدة وواقعية من نموذج قابل للتشكل ثلاثي الأبعاد

نقترح إطارًا جديدًا للتعلم شبه المشرف من البداية إلى النهاية، يستخدم نموذجًا قابلًا للتكييف ثلاثي الأبعاد لإنشاء صور وجوه ذات مظهر حقيقي لهويات جديدة مع مجموعة واسعة من التعبيرات والأوضاع والإضاءات. طرق نقل الأسلوب السابقة باستخدام الشبكات المعادية إما تراقب شبكاتها باستخدام كميات كبيرة من البيانات المزدوجة أو تستعمل بيانات غير مزدوجة في إطار توليدي ثنائي غير مقيد بشكل كبير. نقدم الرقابة المعادية الثنائية لتقيد التكيف بين المجالين بكمية صغيرة من الصور الحقيقية والاصطناعية المزدوجة للتدريب، بالإضافة إلى الكمية الكبيرة من البيانات غير المزدوجة. تم إجراء تجارب نوعية وكمية واسعة النطاق لتأكيد فكرتنا. تحتوي صور الوجوه الجديدة التي تم إنشاؤها على تنوع في الأوضاع والإضاءة والتعبيرات، وتظهر النتائج النوعية أن هذه الصور مقيدة بشدة بالصورة الاصطناعية المدخلة مع إضافة الواقعية الفوتوغرافية والحفاظ على المعلومات الخاصة بالهوية. نقوم بدمج صور الوجوه التي تم إنشاؤها بواسطة الطريقة المقترحة مع مجموعة البيانات الحقيقية لتدريب خوارزميات التعرف على الوجه. قمنا بتقييم النموذج على مجموعتين من البيانات صعبتين: LFW (Labeled Faces in the Wild) و IJB-A (IARPA Janus Biometric Evaluation). نلاحظ أن الصور المنتجة من خلال الإطار الخاص بنا تحسن باستمرار أداء شبكة التعرف على الوجه العميقة التي تم تدريبها باستخدام مجموعة بيانات وجه Oxford VGG، وتحقق نتائج مشابهة لأحدث التقنيات في هذا المجال.