استخدام الوجوه الحقيقية المتحدثة من خلال التعلم الذاتي للكشف القوي عن التزييف

إحدى أبرز التحديات التي تواجه الكشف عن مقاطع الفيديو المُزَوَّرة للوجه هي القدرة على التعميم على طرق التزوير غير المرئية أثناء التدريب، مع الحفاظ على الكفاءة أمام التشوهات الشائعة مثل الضغط (التكديس). في هذه الورقة البحثية، نستعرض ما إذا كان من الممكن التصدي لهذا التحدي من خلال الاستفادة من مقاطع الفيديو الحقيقية لوجوه تتحدث، والتي تحتوي على معلومات غنية حول المظهر والسلوك الطبيعي للوجه، وهي متاحة بكميات كبيرة على الإنترنت. يُسمى منهجنا "RealForensics" ويتكوّن من مرحلتين. أولاً، نستغل التوافق الطبيعي بين الوسائط البصرية والصوتية في مقاطع الفيديو الحقيقية لتعلم تمثيلات فيديو كثيفة زمنيًا بطريقة ذاتية التعلم عبر الوسائط، بحيث تُمثّل عوامل مثل الحركات الوجهية، والتعبيرات، والهوية. ثانيًا، نستخدم هذه التمثيلات المُكتسبة كأهداف يجب توقعها من قِبل كاشف التزوير، إلى جانب المهمة الثنائية التقليدية لتصنيف التزوير (حقيقي/مُزوَّر)، مما يشجعه على اتخاذ قراره بشأن حقيقة الفيديو بناءً على هذه العوامل. نُظهر أن منهجنا يحقق أداءً متميزًا على مستوى الأداء الحالي في تجارب التعميم على أنواع مختلفة من التزوير والمقاومة للتشوهات، ونُحلّل العوامل المسؤولة عن هذا الأداء. تشير نتائجنا إلى أن الاستفادة من مقاطع الفيديو الطبيعية وغير المُصنَّفة تمثّل اتجاهًا واعدًا لتطوير كواشف أكثر مقاومة للاختراقات في التزوير الوجه.