Inhaltsbasierte Erkennung von zeitlichen Metadatenmanipulationen

Die meisten online geteilten Bilder werden mit zeitlichen Metadaten (d.h., dem Tag und der Uhrzeit, zu denen sie aufgenommen wurden) versehen, was es ermöglicht, den Bildinhalt mit Ereignissen in der realen Welt in Verbindung zu bringen. Die böswillige Manipulation dieser Metadaten kann eine verzerrte Version der Realität vermitteln. In dieser Arbeit stellen wir das sich entfaltende Problem der Erkennung von Zeitstempel-Manipulationen vor. Wir schlagen einen end-to-end-Ansatz zur Überprüfung vor, ob die angegebene Aufnahmzeit eines Outdoor-Bildes mit dessen Inhalt und geografischer Position konsistent ist. Wir betrachten Manipulationen, die in der Stunde und/oder im Monat der Aufnahme eines Fotos vorgenommen wurden. Das zentrale Konzept ist die verwendete überwachte Konsistenzüberprüfung, bei der wir die Wahrscheinlichkeit vorhersagen, dass Inhalt des Bildes, Aufnahmzeit und geografische Position übereinstimmen. Darüber hinaus integrieren wir zwei Nebenaufgaben, die verwendet werden können, um die Entscheidung des Netzes zu erklären. Unser Ansatz verbessert die bisherigen Arbeiten an einem großen Benchmark-Datensatz, indem er die Klassifizierungsgenauigkeit von 59,0 % auf 81,1 % erhöht. Wir führen eine Ablationsstudie durch, die die Bedeutung verschiedener Komponenten der Methode hervorhebt und zeigt, welche Arten von Manipulationen mit unserem Ansatz erkennbar sind. Schließlich demonstrieren wir, wie die vorgeschlagene Methode eingesetzt werden kann, um eine mögliche Aufnahmzeit in Szenarien zu schätzen, in denen der Zeitstempel aus den Metadaten fehlt.