truFor: الاستفادة من جميع الدلائل للكشف عن التزوير الصور وإدراكه بشكل موثوق

في هذا البحث، نقدم نظام TruFor، وهو إطار قضائي يمكن تطبيقه على مجموعة واسعة من طرق تعديل الصور، بدءًا من التلاعبات البسيطة التقليدية (cheapfakes) وصولاً إلى التلاعبات الحديثة المستندة إلى التعلم العميق. نعتمد على استخراج آثار عالية المستوى وأخرى منخفضة المستوى من خلال هندسة دمج قائمة على المتحولات (transformer-based fusion architecture) التي تجمع بين صورة RGB والبصمة الحساسة للضوضاء التي تم تعلمها. تقوم هذه البصمة بدمج الأثر المرتبط بالمعالجة الداخلية والخارجية للكاميرا عن طريق التدريب فقط على بيانات حقيقية بطريقة ذاتية مراقبة (self-supervised manner). يتم اكتشاف التزوير كانحرافات عن النمط المنتظم المتوقع الذي يميز كل صورة نقية. البحث عن الشذوذ يجعل هذا النهج قادرًا على اكتشاف مجموعة متنوعة من التعديلات المحلية بشكل متين، مما يضمن التعميم. بالإضافة إلى خريطة تحديد المواقع على مستوى البكسل ودرجة سلامة الصورة بأكملها، فإن نهجنا ينتج خريطة موثوقية تسلط الضوء على المناطق حيث قد تكون توقعات تحديد المواقع عرضة للخطأ. هذا مهم بشكل خاص في التطبيقات القضائية لتقليل الإنذارات الكاذبة والسماح بالتحليل على نطاق واسع. أظهرت التجارب الواسعة على عدة قواعد بيانات أن طريقتنا قادرة على اكتشاف وتتبع كل من التلاعبات البسيطة (cheapfakes) والتلاعبات المعقدة المستندة إلى التعلم العميق (deepfakes) بشكل موثوق، مما يتفوق على الأعمال الرائدة في المجال. الرمز البرمجي متاح بشكل عام عبر الرابط: https://grip-unina.github.io/TruFor/