نقل السمات الوجهية مع الوعي العميق بالهوية

يقدم هذا البحث نموذج شبكة تلافيفية عميقة (Deep Convolutional Network) لنقل السمات الوجهية مع الحفاظ على الهوية (Identity-Aware Transfer - DIAT). يهدف DIAT إلى إنشاء صورة وجه تحتوي على السمة المرجعية مع الحفاظ على نفس الهوية أو هوية مشابهة للصورة المدخلة. بشكل عام، يتكون نموذجنا من شبكة قناع (Mask Network) وشبكة تحويل السمات (Attribute Transform Network)، تعملان بالتآزر لإنتاج صورة وجه واقعية تحتوي على السمة المرجعية. نظرًا لأن السمة المرجعية قد تكون مرتبطة ببعض أجزاء الصورة فقط، تم تقديم شبكة القناع لتجنب التعديل غير الصحيح في المناطق غير ذات الصلة بالسمة. ثم يتم استخدام القناع المقدر لدمج الصورة المدخلة والصورة المحولة لإنتاج نتيجة النقل. بالنسبة للتدريب المشترك لشبكة التحويل وشبكة القناع، ندمج خسارة السمة المعادية (Adversarial Attribute Loss)، وخسارة الإدراك التكيفي مع الهوية (Identity-Aware Adaptive Perceptual Loss)، وخسارة الهوية المستندة إلى VGG-FACE. بالإضافة إلى ذلك، تم تقديم شبكة تنقية الضوضاء (Denoising Network) لتوفير تنظيم إدراكي يكبح الأخطاء الفنية في نتيجة النقل، بينما تم تقديم تنظيم نسبة السمة (Attribute Ratio Regularization) لتحديد حجم المنطقة ذات الصلة بالسمة. يمكن لـ DIAT الخاص بنا توفير حل موحد لمجموعة من مهام نقل السمات الوجهية الممثلة، مثل نقل التعبيرات، وإزالة الملحقات، وتقدم العمر، وتحويل الجنس، ويمكن توسيعه لأغراض تعزيز الوجه الأخرى مثل تصور الوجه (Face Hallucination). تؤكد النتائج التجريبية فعالية الطريقة المقترحة. حتى بالنسبة للسمات المتعلقة بالهوية (مثل الجنس)، يمكن لـ DIAT الخاص بنا الحصول على نتائج بصرية مثيرة للإعجاب عن طريق تغيير السمة مع الحفاظ على معظم الخصائص الواعية بالهوية.