التبديل الفوري للوجه على الصور ذات الدقة العالية

تعد تقنية تبادل الوجوه (Face Swapping) ذات تطبيقات إيجابية مثل الترفيه والتفاعل بين الإنسان والحاسوب، وكذلك تطبيقات سلبية مثل تهديدات تقنية DeepFake في مجالات السياسة والاقتصاد وغيرها. ومع ذلك، من الضروري فهم مخطط الأساليب المتقدمة لتبادل الوجوه بجودة عالية وإنتاج صور كافية وممثلة لتبادل الوجوه لتدريب خوارزميات الكشف عن DeepFake. يقدم هذا البحث أول طريقة على مستوى الميجابكسل للتبديل الفوري للوجه (One Shot Face Swapping)، والتي يُشار إليها اختصارًا باسم MegaFS.أولاً، يقوم MegaFS بتنظيم تمثيل الوجه بشكل هرمي باستخدام مُشفر تمثيل الوجه الهرمي المقترح (Hierarchical Representation Face Encoder - HieRFE) في فضاء ضمني ممتد للحفاظ على المزيد من تفاصيل الوجه، بدلاً من التمثيل المضغوط المستخدم في طرق تبادل الوجوه السابقة.ثانيًا، تم اقتراح وحدة نقل الوجه (Face Transfer Module - FTM) المصممة بعناية لنقل الهوية من الصورة المصدر إلى الصورة الهدف عبر مسار غير خطي دون فصل واضح للميزات.أخيرًا، يمكن تركيب الوجوه المتبادلة باستخدام StyleGAN2 مع الاستفادة من استقرار التدريب وقدراتها الجenerative القوية. يمكن تدريب كل جزء من MegaFS بشكل منفصل بحيث يتم تحقيق متطلبات ذاكرة الوحدة المعالجة الرسومية (GPU) الخاصة بنموذجنا لتبادل الوجوه على مستوى الميجابكسل. باختصار، فإن التمثيل الكامل للوجه والاستقرار أثناء التدريب واستخدام ذاكرة محدودة هي الثلاثة إسهامات الجديدة التي أدت إلى نجاح طريقتنا. أظهرت التجارب الواسعة الأفضلية لموقع MegaFS وأطلق أول قاعدة بيانات على مستوى الميجابكسل لتبادل الوجوه في المجال العام لأبحاث الكشف عن DeepFake وتحرير صور الوجه. يمكن الوصول إلى مجموعة البيانات من خلال هذا الرابط.