ManTra-Net: Manipulation Tracing Network zur Detektion und Lokalisierung von Bildfälschungen mit anomalen Merkmalen

Um der realen Bildfälschung entgegenzuwirken, die häufig verschiedene Arten und kombinierte Manipulationen umfasst, schlagen wir eine einheitliche tief neuronale Architektur namens ManTra-Net vor. Im Gegensatz zu vielen bestehenden Ansätzen ist ManTra-Net ein end-to-end-Netzwerk, das sowohl die Erkennung als auch die Lokalisierung von Fälschungen ohne zusätzliche Vor- und Nachverarbeitung durchführt. ManTra-Net ist ein vollständig konvolutionales Netzwerk und verarbeitet Bilder beliebiger Größe und zahlreiche bekannte Fälschungstypen wie Splicing, Copy-Move, Entfernung, Verbesserung sowie sogar unbekannte Arten. Diese Arbeit leistet drei herausragende Beiträge. Zunächst entwerfen wir eine einfache, aber effektive selbstüberwachte Lernaufgabe, um robuste Spuren von Bildmanipulationen durch die Klassifizierung von 385 unterschiedlichen Manipulationstypen zu lernen. Darüber hinaus formulieren wir das Problem der Fälschungslokalisierung als lokale Anomalieerkennungsaufgabe, entwickeln eine Z-Score-Feature-Darstellung zur Erfassung lokaler Anomalien und schlagen eine neuartige Lösung basierend auf einem Langzeit-Kurzzeit-Gedächtnis-Modell (LSTM) zur Bewertung lokaler Anomalien vor. Schließlich führen wir sorgfältig Abstraktionsexperimente durch, um die vorgeschlagene Netzarchitektur systematisch zu optimieren. Unsere umfangreichen experimentellen Ergebnisse belegen die Allgemeingültigkeit, Robustheit und Überlegenheit von ManTra-Net – nicht nur bei einzelnen Manipulationsarten oder Fälschungstypen, sondern auch bei komplexen Kombinationen dieser.