HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

ManTra-Net: Manipulation Tracing Network zur Detektion und Lokalisierung von Bildfälschungen mit anomalen Merkmalen

{ Premkumar Natarajan Wael AbdAlmageed Yue Wu}

ManTra-Net: Manipulation Tracing Network zur Detektion und Lokalisierung von Bildfälschungen mit anomalen Merkmalen

Abstract

Um der realen Bildfälschung entgegenzuwirken, die häufig verschiedene Arten und kombinierte Manipulationen umfasst, schlagen wir eine einheitliche tief neuronale Architektur namens ManTra-Net vor. Im Gegensatz zu vielen bestehenden Ansätzen ist ManTra-Net ein end-to-end-Netzwerk, das sowohl die Erkennung als auch die Lokalisierung von Fälschungen ohne zusätzliche Vor- und Nachverarbeitung durchführt. ManTra-Net ist ein vollständig konvolutionales Netzwerk und verarbeitet Bilder beliebiger Größe und zahlreiche bekannte Fälschungstypen wie Splicing, Copy-Move, Entfernung, Verbesserung sowie sogar unbekannte Arten. Diese Arbeit leistet drei herausragende Beiträge. Zunächst entwerfen wir eine einfache, aber effektive selbstüberwachte Lernaufgabe, um robuste Spuren von Bildmanipulationen durch die Klassifizierung von 385 unterschiedlichen Manipulationstypen zu lernen. Darüber hinaus formulieren wir das Problem der Fälschungslokalisierung als lokale Anomalieerkennungsaufgabe, entwickeln eine Z-Score-Feature-Darstellung zur Erfassung lokaler Anomalien und schlagen eine neuartige Lösung basierend auf einem Langzeit-Kurzzeit-Gedächtnis-Modell (LSTM) zur Bewertung lokaler Anomalien vor. Schließlich führen wir sorgfältig Abstraktionsexperimente durch, um die vorgeschlagene Netzarchitektur systematisch zu optimieren. Unsere umfangreichen experimentellen Ergebnisse belegen die Allgemeingültigkeit, Robustheit und Überlegenheit von ManTra-Net – nicht nur bei einzelnen Manipulationsarten oder Fälschungstypen, sondern auch bei komplexen Kombinationen dieser.

Benchmarks

BenchmarkMethodikMetriken
image-manipulation-detection-on-casia-osnMantra-Net
AUC: 0.763
F-score: 0.102
Intersection over Union: 0 .065
image-manipulation-detection-on-casia-osn-1ManTra-Net
AUC: 0.724
Intersection over Union: 0.080
f-Score: 0.048
image-manipulation-detection-on-casia-osn-2ManTra-Net
AUC: 0.763
Intersection over Union: 0.063
f-Score: 0.099
image-manipulation-detection-on-casia-osn-3ManTra-Net
AUC: 0.754
Intersection over Union: 0.063
f-Score: 0.099
image-manipulation-detection-on-casia-v1ManTraNet
AUC: .644
Balanced Accuracy: .500
image-manipulation-detection-on-cocoglideManTraNet
AUC: .778
Balanced Accuracy: .500
image-manipulation-detection-on-columbiaManTraNet
AUC: .810
Balanced Accuracy: .500
image-manipulation-detection-on-columbia-osnManTra-Net
AUC: 0.626
Intersection over Union: 0.056
f-Score: 0.103
image-manipulation-detection-on-columbia-osn-1ManTra-Net
AUC: 0.613
Intersection over Union: 0.125
f-Score: 0.199
image-manipulation-detection-on-columbia-osn-2ManTra-Net
AUC: 0.630
Intersection over Union: 0.052
f-Score: 0.098
image-manipulation-detection-on-columbia-osn-3ManTra-Net
AUC: 0.620
Intersection over Union: 0.056
f-Score: 0.103
image-manipulation-detection-on-coverageManTraNet
AUC: .760
Balanced Accuracy: .500
image-manipulation-detection-on-dso-1ManTraNet
AUC: .874
Balanced Accuracy: .500
image-manipulation-detection-on-dso-osnManTra-Net
AUC: 0.638
Intersection over Union: 0.071
f-Score: 0.109
image-manipulation-detection-on-dso-osn-1ManTra-Net
AUC: 0.582
Intersection over Union: 0.045
f-Score: 0.076
image-manipulation-detection-on-dso-osn-2ManTra-Net
AUC: 0.616
Intersection over Union: 0.052
f-Score: 0.081
image-manipulation-detection-on-dso-osn-3ManTra-Net
AUC: 0.606
Intersection over Union: 0.036
f-Score: 0.057
image-manipulation-detection-on-nist-osnManTra-Net
AUC: 0.652
Intersection over Union: 0.057
f-Score: 0.095
image-manipulation-detection-on-nist-osn-1ManTra-Net
AUC: 0.654
Intersection over Union: 0.057
f-Score: 0.095
image-manipulation-detection-on-nist-osn-2ManTra-Net
AUC: 0.702
Intersection over Union: 0.062
f-Score: 0.101
image-manipulation-detection-on-nist-osn-3ManTra-Net
AUC: 0.671
Intersection over Union: 0.053
f-Score: 0.088
image-manipulation-localization-on-casia-v1ManTraNet
Average Pixel F1(Fixed threshold): .180
image-manipulation-localization-on-cocoglideManTraNet
Average Pixel F1(Fixed threshold): .516
image-manipulation-localization-on-columbiaManTraNet
Average Pixel F1(Fixed threshold): .508
image-manipulation-localization-on-coverageManTraNet
Average Pixel F1(Fixed threshold): .317
image-manipulation-localization-on-dso-1ManTraNet
Average Pixel F1(Fixed threshold): .412

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
ManTra-Net: Manipulation Tracing Network zur Detektion und Lokalisierung von Bildfälschungen mit anomalen Merkmalen | Forschungsarbeiten | HyperAI