الشفاه لا تكذب: نهج قابل للتعميم ومتين للكشف عن تزوير الوجه

رغم أن الكاشفات الحالية للوجوه المزيفة التي تعتمد على التعلم العميق تحقق أداءً مذهلاً في السيناريوهات المقيدة، إلا أنها عرضة للعينات التي تم إنشاؤها باستخدام طرق التلاعب غير المعروفة. بعض الأعمال الحديثة تظهر تحسينات في التعميم ولكنها تعتمد على مؤشرات يمكن أن تتلف بسهولة من خلال عمليات المعالجة اللاحقة الشائعة مثل الضغط. في هذا البحث، نقترح LipForensics، وهي طريقة كشف قادرة على التعميم إلى التلاعبات الجديدة والصمود أمام مختلف التشوهات. تستهدف LipForensics عدم انتظام الدلالات语义的高级别异常在口部运动中很常见。首先，它通过预训练时空网络来执行视觉语音识别（唇读），从而学习与自然口部运动相关的丰富内部表示。然后，在真实和伪造数据的固定口部嵌入上微调时间网络，以便基于口部运动检测假视频，而不会过度拟合低级别的、特定于操作的伪影。广泛的实验表明，这种简单的方法在对未见过的操纵方法的泛化能力和对扰动的鲁棒性方面显著超越了现有技术，并揭示了影响其性能的因素。代码已在GitHub上提供。为了使这段翻译更加符合阿拉伯语的表达习惯，我将对其进行适当的调整：رغم أن الكاشفات الحالية للوجوه المزيفة التي تعتمد على التعلم العميق تحقق أداءً مذهلاً في السيناريوهات المقيدة، إلا أنها عرضة للتضليل بواسطة العينات التي تم إنشاؤها باستخدام طرق تلاعب غير معروفة. بعض الأبحاث الحديثة أظهرت تحسينات في قدرتها على التعميم، لكنها تعتمد على مؤشرات يمكن أن تتلف بسهولة من خلال عمليات المعالجة اللاحقة الشائعة مثل الضغط. في هذا البحث، نقترح نظامًا جديدًا يُدعى LipForensics، وهو قادر على التعامل مع طرق التلاعب الجديدة والمقاومة لتشوهات مختلفة. يستهدف LipForensics عدم انتظام الدلالات المرتبطة بالحركات الفموية، وهي مشكلة شائعة في العديد من الفيديوهات المولدة. يتكون النظام أولاً من مرحلة تدريب أولي لشبكة زمانية-مكانية لأداء عملية التعرف على الكلام البصري (القراءة من الشفاه)، مما يتيح له تعلم تمثيلات داخلية غنية مرتبطة بالحركة الفمية الطبيعية. ثم يتم ضبط شبكة زمنية بشكل دقيق باستخدام تمثيلات ثابتة للفم من بيانات حقيقية ومزيفة بهدف كشف الفيديوهات المزيفة بناءً على الحركات الفمية دون الإفراط في تناسبها مع الظواهر الخاطئة ذات المستوى المنخفض والمحددة لكل عملية تلاعب. التجارب الواسعة أثبتت أن هذه الطريقة البسيطة تتفوق بشكل كبير على التقنيات الحالية فيما يتعلق بقدرتها على التعميم إلى طرق التلاعب غير المعروفة ومقاومتها للتشوهات، كما أنها كشفت عن العوامل المسؤولة عن أدائها المتميز. الرمز البرمجي متاح على GitHub.