HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

SPAN: Spatial Pyramid Attention Network für die Lokalisierung von Bildmanipulationen

{Zhenheng Yang Zhihan Zhang Zhenye Jiang Xuefeng Hu Ram Nevatia Syomantak Chaudhuri}

SPAN: Spatial Pyramid Attention Network für die Lokalisierung von Bildmanipulationen

Abstract

Techniken zur Bildmanipulation entwickeln sich rasant; während sie für zahlreiche nützliche Aufgaben hilfreich sind, bergen sie auch eine Bedrohung für die Gesellschaft durch ihre Fähigkeit, überzeugende Falschinformationen zu erzeugen. Wir stellen ein neuartiges Netzwerk namens Spatial Pyramid Attention Network (SPAN) zur Erkennung und Lokalisierung mehrerer Arten von Bildmanipulationen vor. Die vorgeschlagene Architektur modelliert effizient und effektiv die Beziehungen zwischen Bildpatches auf mehreren Skalen durch den Aufbau einer Pyramide aus lokalen Self-Attention-Blöcken. Das Design beinhaltet eine neuartige Positionsprojektion, um die räumlichen Positionen der Patches zu kodieren. SPAN wird auf einem synthetischen Datensatz trainiert, kann jedoch auch für spezifische Datensätze feinabgestimmt werden. Die vorgeschlagene Methode erreicht signifikante Leistungsverbesserungen gegenüber bisherigen State-of-the-Art-Verfahren auf Standard-Datensätzen.

Benchmarks

BenchmarkMethodikMetriken
image-manipulation-detection-on-casia-v1SPAN
AUC: .480
Balanced Accuracy: .112
image-manipulation-detection-on-cocoglideSPAN
AUC: .475
Balanced Accuracy: .298
image-manipulation-detection-on-coverageSPAN
AUC: .670
Balanced Accuracy: .235
image-manipulation-detection-on-dso-1SPAN
AUC: .669
Balanced Accuracy: .233
image-manipulation-localization-on-casia-v1SPAN
Average Pixel F1(Fixed threshold): .112
image-manipulation-localization-on-cocoglideSPAN
Average Pixel F1(Fixed threshold): .298
image-manipulation-localization-on-columbiaSPAN
Average Pixel F1(Fixed threshold): .759
image-manipulation-localization-on-coverageSPAN
Average Pixel F1(Fixed threshold): .235
image-manipulation-localization-on-dso-1SPAN
Average Pixel F1(Fixed threshold): .233

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp