FaceForensics++: Lernen, manipulierte Gesichtsbilder zu erkennen

Der rasante Fortschritt bei der Erstellung und Manipulation von synthetischen Bildern hat nun einen Punkt erreicht, der erhebliche Bedenken hinsichtlich der gesellschaftlichen Auswirkungen aufwirft. Im besten Fall führt dies zu einem Verlust des Vertrauens in digitale Inhalte, könnte aber auch durch die Verbreitung falscher Informationen oder Fake News weitere Schäden verursachen. Diese Arbeit untersucht die Realitätstreue modernster Bildmanipulationen und wie schwierig es ist, sie automatisch oder durch Menschen zu erkennen. Um die Bewertung von Erkennungsverfahren zu standardisieren, schlagen wir ein automatisiertes Benchmarking-Verfahren für die Erkennung von Gesichtsmanipulationen vor. Insbesondere basiert das Benchmarking-Verfahren auf DeepFakes, Face2Face, FaceSwap und NeuralTextures als prominenten Vertretern für Gesichtsmanipulationen bei verschiedenen Kompressionsstufen und Größen. Das Benchmark-Datensatz ist öffentlich zugänglich und enthält eine verborgene Testmenge sowie eine Datenbank mit über 1,8 Millionen manipulierten Bildern. Dieser Datensatz ist um mehrere Größenordnungen größer als vergleichbare, öffentlich zugängliche Fälschungsdatensätze. Basierend auf diesen Daten haben wir eine gründliche Analyse datengesteuerter Fälschungserkennungsverfahren durchgeführt. Wir zeigen, dass die Nutzung zusätzlicher domänenspezifischer Kenntnisse die Fälschungserkennung auf bislang unerreichte Genauigkeit steigert, selbst bei starker Kompression, und deutlich besser abschneidet als menschliche Beobachter.