HyperAIHyperAI

Command Palette

Search for a command to run...

Lippen lügen nicht: Ein generalisierbarer und robuster Ansatz zur Erkennung von Gesichtsfälschungen

Alexandros Haliassos Konstantinos Vougioukas Stavros Petridis Maja Pantic

Zusammenfassung

Obwohl aktuelle tiefen Lern-basierte Face-Forgery-Detektoren in eingeschränkten Szenarien beeindruckende Leistungen erzielen, sind sie anfällig für Proben, die durch unbekannte Manipulationstechniken erstellt wurden. Einige jüngere Arbeiten zeigen Verbesserungen bei der Generalisierung, aber diese basieren auf Hinweisen, die leicht durch übliche Nachbearbeitungsoperationen wie Kompression verfälscht werden können. In dieser Arbeit schlagen wir LipForensics vor, einen Detektansatz, der sowohl auf neue Manipulationen generalisieren als auch verschiedenen Verzerrungen standhalten kann. LipForensics richtet sich auf hochrangige semantische Ungereimtheiten in Mundbewegungen, die in vielen generierten Videos häufig vorkommen. Es besteht zunächst darin, ein raum-zeitliches Netzwerk zur visuellen Spracherkennung (Lippenlesen) vorzutrainieren, um reichhaltige interne Darstellungen im Zusammenhang mit natürlichen Mundbewegungen zu erlernen. Anschließend wird ein zeitliches Netzwerk an festen Mund-Embeddings von realen und gefälschten Daten feintuneiert, um Fake-Videos basierend auf Mundbewegungen zu erkennen, ohne an niedrigen, manipulationspezifischen Artefakten übertrainiert zu werden. Ausführliche Experimente zeigen, dass dieser einfache Ansatz den Stand der Technik hinsichtlich der Generalisierung auf unbekannte Manipulationen und Robustheit gegenüber Störungen deutlich übertrifft und Licht auf die Faktoren wirft, die für seine Leistung verantwortlich sind. Der Quellcode ist auf GitHub verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lippen lügen nicht: Ein generalisierbarer und robuster Ansatz zur Erkennung von Gesichtsfälschungen | Paper | HyperAI