R-MFDN (Reference-assisted Multimodal Forgery Detection Network) の正式名称は、復旦大学、中国電子晋信、上海知能視覚計算機協創イノベーションセンターのチームによって 2024 年に提案されたマルチモーダル偽造検出方法です。このアプローチでは、豊富な ID 情報を活用して、クロスモーダルの不一致をマイニングして偽造を検出します。 R-MFDNは、マルチモーダル特徴抽出モジュール、特徴情報融合モジュール、偽造識別モジュールの3つの主要な部分で構成され、ビデオコーディング、オーディオコーディング、時間的Transformerモデルを組み合わせて特徴を抽出および融合し、偽造識別を実行します。 。
この方法の革新的な点は、単一モダリティでの偽造検出に焦点を当てるだけでなく、クロスモーダル対比学習損失関数とアイデンティティ駆動型対比学習損失関数を通じて、偽造コンテンツに対するモデルの感度を高めることです。この方法は、マルチモーダルなディープ偽造シナリオ、特に AI の顔変更やオノマトペなどの ID 偽造シナリオで強力な識別機能を実証しています。
関連論文「参照支援によるアイデンティティ主導のマルチメディア偽造検出マルチメディア分野の最高峰国際会議「ACM MultiMedia 2024」に採択され、口頭報告を行いました。この研究では、高品質の AI 顔変化オノマトペ データ セット IDForge も構築されました。適用するデータを取得します。