HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Robuste Bild-Fälschungserkennung bei über Online-Soziale Netzwerke geteilten Bildern

{Jun Liu Jinyu Tian Jiantao Zhou Haiwei Wu}

Robuste Bild-Fälschungserkennung bei über Online-Soziale Netzwerke geteilten Bildern

Abstract

Die zunehmende Missbrauch von Bildbearbeitungssoftware, wie Photoshop und Meitu, führt dazu, dass die Authentizität digitaler Bilder in Frage gestellt wird. Gleichzeitig ermöglichen die weite Verbreitung von Online-Sozialen Netzwerken (OSNs) diese als dominante Kanäle für die Verbreitung manipulierter Bilder, um Falschmeldungen zu verbreiten oder Gerüchte zu fördern. Leider stellen die vielfältigen verlustbehafteten Operationen, die von OSNs angewendet werden – beispielsweise Kompression und Größenanpassung – erhebliche Herausforderungen für die Implementierung robuster Bildmanipulationserkennung dar. Um gegen OSN-geteilte Fälschungen vorzugehen, wird in dieser Arbeit ein neuartiges robustes Trainingsverfahren vorgeschlagen. Zunächst führen wir eine gründliche Analyse des durch OSNs eingeführten Rauschens durch und zerlegen es in zwei Komponenten: vorhersagbares Rauschen und unerwartetes Rauschen, die jeweils separat modelliert werden. Das erste simuliert das Rauschen, das durch bekannte (offen gelegte) Operationen von OSNs verursacht wird, während das zweite nicht nur die erste Komponente ergänzt, sondern auch die Schwächen des Detektors selbst berücksichtigt. Anschließend integrieren wir das modellierte Rauschen in einen robusten Trainingsrahmen, was die Robustheit des Bildmanipulationsdetektors erheblich verbessert. Ausführliche experimentelle Ergebnisse bestätigen die Überlegenheit des vorgeschlagenen Ansatzes gegenüber mehreren state-of-the-art-Verfahren. Schließlich fördern wir die zukünftige Entwicklung der Bildmanipulationserkennung durch die Erstellung eines öffentlichen Fälschungsdatensatzes, der auf vier bestehenden Datensätzen und drei der beliebtesten OSNs basiert. Der entwickelte Detektor erreichte kürzlich die Spitzenplatzierung in einem Wettbewerb zur Fälschungserkennung von Ausweisen. Der Quellcode und der Datensatz sind unter https://github.com/HighwayWu/ImageForensicsOSN verfügbar.

Benchmarks

BenchmarkMethodikMetriken
image-manipulation-detection-on-casia-osnWu22
AUC: 0.862
F-score: 0.462
Intersection over Union: 0.417
image-manipulation-detection-on-casia-osn-1Wu22
AUC: 0.833
Intersection over Union: 0.405
f-Score: 0.358
image-manipulation-detection-on-casia-osn-2Wu22
AUC: 0.866
Intersection over Union: 0.431
f-Score: 0.478
image-manipulation-detection-on-casia-osn-3Wu22
AUC: 0.858
Intersection over Union: 0.421
f-Score: 0.466
image-manipulation-detection-on-columbia-osnWu22
AUC: 0.883
Intersection over Union: 0.611
f-Score: 0.714
image-manipulation-detection-on-columbia-osn-1Wu22
AUC: 0.883
Intersection over Union: 0.631
f-Score: 0.727
image-manipulation-detection-on-columbia-osn-2Wu22
AUC: 0.889
Intersection over Union: 0.628
f-Score: 0.727
image-manipulation-detection-on-columbia-osn-3Wu22
AUC: 0.883
Intersection over Union: 0.626
f-Score: 0.724
image-manipulation-detection-on-dso-osnWu22
AUC: 0.859
Intersection over Union: 0.320
f-Score: 0.447
image-manipulation-detection-on-dso-osn-1Wu22
AUC: 0.823
Intersection over Union: 0.252
f-Score: 0.366
image-manipulation-detection-on-dso-osn-2Wu22
AUC: 0.839
Intersection over Union: 0.233
f-Score: 0.341
image-manipulation-detection-on-dso-osn-3Wu22
AUC: 0.808
Intersection over Union: 0.253
f-Score: 0.370
image-manipulation-detection-on-nist-osnWu22
AUC: 0.783
Intersection over Union: 0.253
f-Score: 0.329
image-manipulation-detection-on-nist-osn-1Wu22
AUC: 0.764
Intersection over Union: 0.214
f-Score: 0.286
image-manipulation-detection-on-nist-osn-2Wu22
AUC: 0.785
Intersection over Union: 0.239
f-Score: 0.313
image-manipulation-detection-on-nist-osn-3Wu22
AUC: 0.780
Intersection over Union: 0.219
f-Score: 0.294

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Robuste Bild-Fälschungserkennung bei über Online-Soziale Netzwerke geteilten Bildern | Forschungsarbeiten | HyperAI