R-CNN المقيد: نموذج عام للكشف عن التلاعب بالصور

في الآونة الأخيرة، أظهرت النماذج المستندة إلى التعلم العميق أداءً ملحوظًا في اكتشاف تلاعب الصور. ومع ذلك، تعاني معظم هذه النماذج من ضعف الشمولية في الميزات اليدوية أو المحددة مسبقًا. وفي الوقت نفسه، تركز هذه النماذج فقط على تحديد موقع التلاعب وتغفل عن تصنيفه. لحل هذه المشكلات، نقترح هندسة خشنة إلى دقيقة تُسمى Constrained R-CNN (R-CNN مقيد) لإجراء فحص شامل ودقيق للصور. أولاً، يستخرج مستخلص الميزات القابل للتعلم تمثيلًا موحدًا للميزات مباشرة من البيانات. ثانياً، يميز شبكة اقتراح المناطق ذات الاهتمام بشكل فعال المناطق المتلاعب بها لتصنيف التلاعب وتحديد موقعه بشكل خشن في الخطوة التالية. ثم، يقوم الهيكل القفز بدمج المعلومات من المستوى المنخفض والمستوى العالي لتحسين ميزات التلاعب العالمية. وأخيراً، توجه المعلومات الخاصة بالتحديد الخشن النموذج إلى تعلم المزيد من الميزات المحلية الدقيقة وفصل المنطقة المتلاعب بها. تظهر نتائج التجارب أن نموذجنا يحقق أداءً رائدًا في المجال. وبشكل خاص، ارتفع مؤشر F1 بنسبة 28.4٪ و73.2٪ و13.3٪ على قواعد بيانات NIST16 وCOVERAGE وكولومبيا على التوالي.