ManTra-Net: Manipulation Tracing Network zur Detektion und Lokalisierung von Bildfälschungen mit anomalen Merkmalen
{ Premkumar Natarajan Wael AbdAlmageed Yue Wu}

Abstract
Um der realen Bildfälschung entgegenzuwirken, die häufig verschiedene Arten und kombinierte Manipulationen umfasst, schlagen wir eine einheitliche tief neuronale Architektur namens ManTra-Net vor. Im Gegensatz zu vielen bestehenden Ansätzen ist ManTra-Net ein end-to-end-Netzwerk, das sowohl die Erkennung als auch die Lokalisierung von Fälschungen ohne zusätzliche Vor- und Nachverarbeitung durchführt. ManTra-Net ist ein vollständig konvolutionales Netzwerk und verarbeitet Bilder beliebiger Größe und zahlreiche bekannte Fälschungstypen wie Splicing, Copy-Move, Entfernung, Verbesserung sowie sogar unbekannte Arten. Diese Arbeit leistet drei herausragende Beiträge. Zunächst entwerfen wir eine einfache, aber effektive selbstüberwachte Lernaufgabe, um robuste Spuren von Bildmanipulationen durch die Klassifizierung von 385 unterschiedlichen Manipulationstypen zu lernen. Darüber hinaus formulieren wir das Problem der Fälschungslokalisierung als lokale Anomalieerkennungsaufgabe, entwickeln eine Z-Score-Feature-Darstellung zur Erfassung lokaler Anomalien und schlagen eine neuartige Lösung basierend auf einem Langzeit-Kurzzeit-Gedächtnis-Modell (LSTM) zur Bewertung lokaler Anomalien vor. Schließlich führen wir sorgfältig Abstraktionsexperimente durch, um die vorgeschlagene Netzarchitektur systematisch zu optimieren. Unsere umfangreichen experimentellen Ergebnisse belegen die Allgemeingültigkeit, Robustheit und Überlegenheit von ManTra-Net – nicht nur bei einzelnen Manipulationsarten oder Fälschungstypen, sondern auch bei komplexen Kombinationen dieser.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| image-manipulation-detection-on-casia-osn | Mantra-Net | AUC: 0.763 F-score: 0.102 Intersection over Union: 0 .065 |
| image-manipulation-detection-on-casia-osn-1 | ManTra-Net | AUC: 0.724 Intersection over Union: 0.080 f-Score: 0.048 |
| image-manipulation-detection-on-casia-osn-2 | ManTra-Net | AUC: 0.763 Intersection over Union: 0.063 f-Score: 0.099 |
| image-manipulation-detection-on-casia-osn-3 | ManTra-Net | AUC: 0.754 Intersection over Union: 0.063 f-Score: 0.099 |
| image-manipulation-detection-on-casia-v1 | ManTraNet | AUC: .644 Balanced Accuracy: .500 |
| image-manipulation-detection-on-cocoglide | ManTraNet | AUC: .778 Balanced Accuracy: .500 |
| image-manipulation-detection-on-columbia | ManTraNet | AUC: .810 Balanced Accuracy: .500 |
| image-manipulation-detection-on-columbia-osn | ManTra-Net | AUC: 0.626 Intersection over Union: 0.056 f-Score: 0.103 |
| image-manipulation-detection-on-columbia-osn-1 | ManTra-Net | AUC: 0.613 Intersection over Union: 0.125 f-Score: 0.199 |
| image-manipulation-detection-on-columbia-osn-2 | ManTra-Net | AUC: 0.630 Intersection over Union: 0.052 f-Score: 0.098 |
| image-manipulation-detection-on-columbia-osn-3 | ManTra-Net | AUC: 0.620 Intersection over Union: 0.056 f-Score: 0.103 |
| image-manipulation-detection-on-coverage | ManTraNet | AUC: .760 Balanced Accuracy: .500 |
| image-manipulation-detection-on-dso-1 | ManTraNet | AUC: .874 Balanced Accuracy: .500 |
| image-manipulation-detection-on-dso-osn | ManTra-Net | AUC: 0.638 Intersection over Union: 0.071 f-Score: 0.109 |
| image-manipulation-detection-on-dso-osn-1 | ManTra-Net | AUC: 0.582 Intersection over Union: 0.045 f-Score: 0.076 |
| image-manipulation-detection-on-dso-osn-2 | ManTra-Net | AUC: 0.616 Intersection over Union: 0.052 f-Score: 0.081 |
| image-manipulation-detection-on-dso-osn-3 | ManTra-Net | AUC: 0.606 Intersection over Union: 0.036 f-Score: 0.057 |
| image-manipulation-detection-on-nist-osn | ManTra-Net | AUC: 0.652 Intersection over Union: 0.057 f-Score: 0.095 |
| image-manipulation-detection-on-nist-osn-1 | ManTra-Net | AUC: 0.654 Intersection over Union: 0.057 f-Score: 0.095 |
| image-manipulation-detection-on-nist-osn-2 | ManTra-Net | AUC: 0.702 Intersection over Union: 0.062 f-Score: 0.101 |
| image-manipulation-detection-on-nist-osn-3 | ManTra-Net | AUC: 0.671 Intersection over Union: 0.053 f-Score: 0.088 |
| image-manipulation-localization-on-casia-v1 | ManTraNet | Average Pixel F1(Fixed threshold): .180 |
| image-manipulation-localization-on-cocoglide | ManTraNet | Average Pixel F1(Fixed threshold): .516 |
| image-manipulation-localization-on-columbia | ManTraNet | Average Pixel F1(Fixed threshold): .508 |
| image-manipulation-localization-on-coverage | ManTraNet | Average Pixel F1(Fixed threshold): .317 |
| image-manipulation-localization-on-dso-1 | ManTraNet | Average Pixel F1(Fixed threshold): .412 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.