MMFusion: دمج مرشحات التحقق من صحة الصور للكشف عن التلاعب البصري وتخصيصه

تقنيات تحديد وكشف التلاعب بالصور الحديثة تعتمد عادةً على الأدلة والآثار الجنائية التي تنتجها مرشحات حساسة للضوضاء، مثل مرشح SRM أو التفاف Bayar. في هذا البحث، نعرض أن المرشحات المختلفة المستخدمة في هذه النهج تتفوق في كشف أنواع مختلفة من التلاعب وتوفير آثار جنائية مكملة. لذلك، نستكشف طرقًا لدمج مخرجات هذه المرشحات للاستفادة من الطبيعة المكملة للأدلة المنتجة لأداء تحديد وكشف التلاعب بالصور (IMLD). نقيم طريقتين مختلفتين للدمج: إحداهما تنتج خصائص مستقلة من كل مرشح جنائي ثم تجمعها (يشار إليها باسم الدمج المتأخر) والأخرى تقوم بخلط مبكر لمخرجات الأشكال المختلفة وإنتاج خصائص مشتركة (يشار إليها باسم الدمج المبكر). نستخدم الأخيرة كآلية ترميز الخصائص، مصحوبة بآلية فك ترميز جديدة تتضمن إعادة وزن الخصائص، لصياغة هيكل MMFusion المقترح. نوضح أن MMFusion يحقق أداءً تنافسيًا لكل من تحديد وكشف التلاعب بالصور، ويتفوق على أفضل النماذج الحالية في عدة مجموعات بيانات للصور والفيديوهات. كما نقوم بدراسة مساهمة كل مرشح جنائي داخل MMFusion لمعالجة أنواع مختلفة من التلاعب، معتمدين على مقاييس شرح الذكاء الاصطناعي الحديثة.