التركيب عالي الجودة للصور الرسمية للوجه باستخدام الشبكات المتعددة المعادية

توليد الرسومات الوجهية من الصور الحقيقية والعكس صحيح له العديد من التطبيقات. ومع ذلك، فإن توليد الصور/الرسومات يظل مشكلة صعبة بسبب الاختلاف في خصائص الصورة والرسم. في هذا البحث، نعتبر هذه المهمة كمشكلة ترجمة صورة إلى صورة ونستكشف النماذج التوليدية الحديثة (GANs) لتوليد صور حقيقية عالية الجودة من الرسومات والعكس صحيح. أظهرت الأساليب القائمة على GANs مؤخرًا نتائج واعدة في مشاكل ترجمة الصورة إلى الصورة وفي توليد الرسومات من الصور بشكل خاص، ومع ذلك، فإن قدراتها معروفة بأنها محدودة في إنتاج صور ذات دقة عالية وواقعية. لتحقيق هذا الغرض، نقترح إطارًا جديدًا للدمج يُسمى "دمج الصور والرسومات باستخدام الشبكات المتعددة المعادية" (PS2-MAN)، والذي يولد صورًا منخفضة الدقة إلى صور ذات دقة عالية بطريقة معادية تدريجيًا. يتم الإشراف على الطبقات الخفية للمولد لإنتاج صور منخفضة الدقة أولاً، ثم يتم التحسين الضمني داخل الشبكة لإنتاج صور ذات دقة أعلى. بالإضافة إلى ذلك، بما أن دمج الصورة والرسم هو مشكلة ترجمة متزامنة/مترابطة، فقد استفدنا من المعلومات المتزامنة باستخدام إطار CycleGAN. تم إجراء اختبارات تقييم جودة الصورة (IQA) واختبارات مطابقة الصورة والرسم لبيان الأداء المتفوق لإطارنا مقارنة بالحلول الرائدة الحالية. الكود متاح على الرابط التالي:https://github.com/lidan1/PhotoSketchMAN.