AOT: استبدال الهوية المستند إلى النقل الأمثل للملامح للكشف عن التزييف

أظهرت الدراسات الحديثة أن أداء كشف التزوير يمكن تحسينه باستخدام مجموعات بيانات Deepfakes متنوعة وصعبة التحدي. ومع ذلك، نظرًا لغياب مجموعات بيانات Deepfakes التي تتميز بتباين كبير في المظهر، والتي يصعب إنتاجها باستخدام الأساليب الحديثة لاستبدال الهوية، قد يفشل خوارزمية الكشف في هذه الحالات. في هذا العمل، نقدم خوارزمية جديدة لاستبدال الهوية تتميز باختلافات كبيرة في المظهر، وذلك لدعم كشف التزوير الوجهي. تنشأ هذه الفجوات في المظهر بشكل رئيسي من الفروق الكبيرة في الإضاءة وألوان الجلد، التي توجد على نطاق واسع في السياقات الواقعية. ومع ذلك، فإن صعوبة نمذجة التحويل المعقد للمظهر تجعل من الصعب نقل المظهر الدقيق بشكل تكيفي مع الحفاظ على خصائص الهوية. تُصاغ هذه المشكلة كمُشكلة نقل مثالي في هذا البحث، ونُقترح نموذج نقل مثالي للمظهر (AOT) لصياغتها في كل من الفضاء الخفي والفضاء البكسل. بشكل خاص، تم تصميم مُولّد إعادة إضاءة (relighting generator) لمحاكاة خطة النقل المثالي، حيث يتم حلها من خلال تقليل المسافة واسرستاين للميزات المستخرجة في الفضاء الخفي، مما يوفر أداءً أفضل وباستخدام حسابات أقل مقارنة بالطرق التقليدية للتحسين. ولتحسين الحل الخاص بخطة النقل المثالي بشكل أكبر، نطور لعبة تجزئة (segmentation game) لتقليل المسافة واسرستاين في الفضاء البكسي. ويُستخدم مُميّز (discriminator) لتمييز الأجزاء المزيفة ضمن خليط من لقطات صور حقيقية ومزيفة. تُظهر التجارب الواسعة تفوق طريقةنا مقارنة بالأساليب المتطورة حديثًا، بالإضافة إلى قدرة البيانات المولدة من خلالنا على تحسين أداء كشف التزوير الوجهي.