التعديل الوظيفي مع الحفاظ على الهوية

يصف هذا البحث نموذجًا جديدًا يُولِّد صورًا بوضعيات جديدة، مثل تغيير التعبيرات الوجهية والاتجاه، باستخدام عدد قليل جدًا من الصور لشخص معين. على عكس النماذج السابقة التي تتطلب مجموعات بيانات كبيرة لشخص معين لتدريب النموذج، يمكن لنهجنا البدء من مجموعة محدودة جدًا من الصور، بل وحتى من صورة واحدة. ولتحقيق ذلك، نقدّم نموذجًا يُسمى "مُحَوِّل التماثل الهويّة المُتكيف مع الشخصية" (CainGAN)، والذي يستخدم ميزات مكانيّة مُستخرجة بواسطة مُدمج (embedder) وتوحّد بينها عبر صور المصدر. ويتولّى تطبيق التطبيع الشرطي نقل معلومات الهوية عبر الشبكة بالكامل. وبعد تدريب متكرّر بالمنافسة (adversarial training)، يُدخل نموذج CainGAN صورًا لوجوه شخص معين، ويُنتج صورًا جديدة مع الحفاظ على هوية الشخص. تُظهر النتائج التجريبية أن جودة الصور المُولَّدة تزداد مع حجم مجموعة الإدخال المستخدمة أثناء الاستدلال. علاوة على ذلك، تُشير القياسات الكمية إلى أن CainGAN يتفوّق على الطرق الأخرى عندما تكون بيانات التدريب محدودة.