R-MFDN steht für Reference-assisted Multimodal Forgery Detection Network, eine multimodale Methode zur Fälschungserkennung, die 2024 von einem Team der Fudan University, China Electronics Jinxin und dem Shanghai Collaborative Innovation Center for Intelligent Visual Computing vorgeschlagen wurde. Dieser Ansatz nutzt umfangreiche Identitätsinformationen, um modalübergreifende Inkonsistenzen zur Fälschungserkennung zu ermitteln. R-MFDN besteht aus drei Hauptteilen: einem Modul zur multimodalen Merkmalsextraktion, einem Modul zur Merkmalsinformationsfusion und einem Modul zur Fälschungsidentifizierung. Es extrahiert und verschmilzt Merkmale durch die Kombination von Videocodierung, Audiocodierung und einem zeitlichen Transformer-Modell, um eine Fälschungserkennung durchzuführen.

Die Innovation dieser Methode besteht darin, dass sie sich nicht nur auf die Fälschungserkennung einer einzelnen Modalität konzentriert, sondern auch die Sensibilität des Modells gegenüber gefälschten Inhalten durch eine modalübergreifende kontrastive Lernverlustfunktion und eine identitätsgesteuerte kontrastive Lernverlustfunktion verbessert. Diese Methode weist starke Identifizierungsfähigkeiten in multimodalen Deep-Fake-Szenarien auf, insbesondere in Szenarien zur Identitätsfälschung wie KI-Gesichtsveränderung und Voice-Over.

Verwandte ArtikelIdentitätsbasierte Multimedia-Fälschungserkennung durch Referenzhilfe" wurde von ACM MultiMedia 2024, der wichtigsten internationalen Konferenz im Bereich Multimedia, angenommen, und auf der Konferenz wurde ein mündlicher Bericht gehalten. Die Studie erstellte auch einen hochwertigen KI-Datensatz zur Gesichts- und Stimmveränderung IDForge, der verwendet werden kann, umAnwendenHolen Sie sich die Daten.