Lippen lügen nicht: Ein generalisierbarer und robuster Ansatz zur Erkennung von Gesichtsfälschungen

Obwohl aktuelle tiefen Lern-basierte Face-Forgery-Detektoren in eingeschränkten Szenarien beeindruckende Leistungen erzielen, sind sie anfällig für Proben, die durch unbekannte Manipulationstechniken erstellt wurden. Einige jüngere Arbeiten zeigen Verbesserungen bei der Generalisierung, aber diese basieren auf Hinweisen, die leicht durch übliche Nachbearbeitungsoperationen wie Kompression verfälscht werden können. In dieser Arbeit schlagen wir LipForensics vor, einen Detektansatz, der sowohl auf neue Manipulationen generalisieren als auch verschiedenen Verzerrungen standhalten kann. LipForensics richtet sich auf hochrangige semantische Ungereimtheiten in Mundbewegungen, die in vielen generierten Videos häufig vorkommen. Es besteht zunächst darin, ein raum-zeitliches Netzwerk zur visuellen Spracherkennung (Lippenlesen) vorzutrainieren, um reichhaltige interne Darstellungen im Zusammenhang mit natürlichen Mundbewegungen zu erlernen. Anschließend wird ein zeitliches Netzwerk an festen Mund-Embeddings von realen und gefälschten Daten feintuneiert, um Fake-Videos basierend auf Mundbewegungen zu erkennen, ohne an niedrigen, manipulationspezifischen Artefakten übertrainiert zu werden. Ausführliche Experimente zeigen, dass dieser einfache Ansatz den Stand der Technik hinsichtlich der Generalisierung auf unbekannte Manipulationen und Robustheit gegenüber Störungen deutlich übertrifft und Licht auf die Faktoren wirft, die für seine Leistung verantwortlich sind. Der Quellcode ist auf GitHub verfügbar.