SPAN: Spatial Pyramid Attention Network für die Lokalisierung von Bildmanipulationen
{Zhenheng Yang Zhihan Zhang Zhenye Jiang Xuefeng Hu Ram Nevatia Syomantak Chaudhuri}

Abstract
Techniken zur Bildmanipulation entwickeln sich rasant; während sie für zahlreiche nützliche Aufgaben hilfreich sind, bergen sie auch eine Bedrohung für die Gesellschaft durch ihre Fähigkeit, überzeugende Falschinformationen zu erzeugen. Wir stellen ein neuartiges Netzwerk namens Spatial Pyramid Attention Network (SPAN) zur Erkennung und Lokalisierung mehrerer Arten von Bildmanipulationen vor. Die vorgeschlagene Architektur modelliert effizient und effektiv die Beziehungen zwischen Bildpatches auf mehreren Skalen durch den Aufbau einer Pyramide aus lokalen Self-Attention-Blöcken. Das Design beinhaltet eine neuartige Positionsprojektion, um die räumlichen Positionen der Patches zu kodieren. SPAN wird auf einem synthetischen Datensatz trainiert, kann jedoch auch für spezifische Datensätze feinabgestimmt werden. Die vorgeschlagene Methode erreicht signifikante Leistungsverbesserungen gegenüber bisherigen State-of-the-Art-Verfahren auf Standard-Datensätzen.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| image-manipulation-detection-on-casia-v1 | SPAN | AUC: .480 Balanced Accuracy: .112 |
| image-manipulation-detection-on-cocoglide | SPAN | AUC: .475 Balanced Accuracy: .298 |
| image-manipulation-detection-on-coverage | SPAN | AUC: .670 Balanced Accuracy: .235 |
| image-manipulation-detection-on-dso-1 | SPAN | AUC: .669 Balanced Accuracy: .233 |
| image-manipulation-localization-on-casia-v1 | SPAN | Average Pixel F1(Fixed threshold): .112 |
| image-manipulation-localization-on-cocoglide | SPAN | Average Pixel F1(Fixed threshold): .298 |
| image-manipulation-localization-on-columbia | SPAN | Average Pixel F1(Fixed threshold): .759 |
| image-manipulation-localization-on-coverage | SPAN | Average Pixel F1(Fixed threshold): .235 |
| image-manipulation-localization-on-dso-1 | SPAN | Average Pixel F1(Fixed threshold): .233 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.