TruFor: Nutzung umfassender Hinweise für vertrauenswürdige Bildfälschungserkennung und -lokalisation

In dieser Arbeit stellen wir TruFor vor, einen forensischen Rahmen, der auf eine große Vielzahl von Bildmanipulationstechniken angewendet werden kann – von klassischen Cheapfakes bis hin zu neueren Manipulationen, die auf tiefem Lernen basieren. Wir basieren auf der Extraktion sowohl hoch- als auch niedrigstufiger Spuren durch eine transformerbasierte Fusionsarchitektur, die das RGB-Bild und ein gelerntes rauschempfindliches Fingerabdruckmuster kombiniert. Letzteres lernt, Artefakte im Zusammenhang mit der internen und externen Kamerabearbeitung einzubetten, indem es ausschließlich auf echten Daten in einem selbstüberwachten Modus trainiert wird. Fälschungen werden als Abweichungen vom erwarteten regulären Muster erkannt, das jedes unveränderte Bild charakterisiert. Die Suche nach Anomalien macht den Ansatz fähig, eine Vielzahl lokaler Manipulationen robust zu erkennen und gewährleistet die Generalisierung. Neben einer Pixel-Level-Lokalisierungslandkarte und einem Gesamtbild-Integritätsscore gibt unser Ansatz eine Zuverlässigkeitskarte aus, die Bereiche hervorhebt, in denen Lokalisierungsvorhersagen fehleranfällig sein können. Dies ist insbesondere in forensischen Anwendungen wichtig, um Fehlalarme zu reduzieren und eine Analyse groß angelegter Maßstäbe zu ermöglichen. Umfangreiche Experimente auf mehreren Datensätzen zeigen, dass unsere Methode in der Lage ist, Cheapfakes- und Deepfakes-Manipulationen zuverlässig zu erkennen und zu lokalisieren und dabei den aktuellen Stand der Forschung übertrifft. Der Quellcode ist öffentlich unter https://grip-unina.github.io/TruFor/ verfügbar.