التعلم شبه المشرف لتركيب رسوم الوجوه في البيئة الطبيعية

حققت تقنية توليد الرسومات الوجهية (Face Sketch Synthesis) تقدماً كبيراً في السنوات الأخيرة. تمكن الأساليب الحديثة المستندة إلى الشبكات العصبية العميقة من إنشاء رسومات ذات جودة عالية من صور الوجوه. ومع ذلك، بسبب نقص البيانات التدريبية (أزواج الصور والرسومات)، لم يتمكن أي من هذه الأساليب القائمة على التعلم العميق من التطبيق بنجاح على صور الوجوه في البيئة الحقيقية (في البرية). في هذا البحث، نقترح هندسة تعلم عميق شبه مراقبة التي تمتد لتشمل توليد الرسومات الوجهية للتعامل مع صور الوجوه في البيئة الحقيقية عن طريق استغلال صور وجوه إضافية أثناء التدريب. بدلاً من مراقبة الشبكة بالرسومات المرجعية (ground truth sketches)، نقوم أولاً بتطابق الأجزاء في فضاء الميزات بين الصورة المدخلة وأزواج الصور والرسومات المرجعية الصغيرة. ثم نقوم بتجميع تمثيل ميزات الرسم الوهمي باستخدام الأجزاء المقابلة لميزات الرسم لتدريب شبكتنا. باستخدام النهج المقترح، يمكننا تدريب شبكاتنا باستخدام مجموعة صغيرة من أزواج الصور والرسومات المرجعية بالإضافة إلى قاعدة بيانات كبيرة تحتوي على صور وجوه دون رسومات مرجعية. أظهرت التجارب أن طريقتنا حققت أفضل الأداء على مقاييس عامة وعلى صور وجوه في البيئة الحقيقية. يمكن الوصول إلى الكود المصدر عبر الرابط:https://github.com/chaofengc/Face-Sketch-Wild.