要約
近年の人工知能（AI）技術の急速な進展により、極めて現実味のあるディープフェイク動画（深層合成動画）の作成が可能となり、ディープフェイク動画（通称：AI合成動画）の検出は重要な課題となっている。従来の検出システムは、音声と映像データの統合的処理を十分に考慮していないため、さらなる改善の余地が残されている。本論文では、マルチモーダル偽造検出というタスクに焦点を当て、音声・映像統合学習に基づく深層偽造検出手法を提案する。提案手法は、映像ネットワーク（Video Network）、音声ネットワーク（Audio Network）、音声・映像統合ネットワーク（Audiovisual Network）、および投票モジュール（Voting Module）の4つの構成要素から構成される。与えられた動画に対して、本提案手法はマルチモーダルかつアンサンブル学習に基づき、その動画が偽物か本物かを識別可能である。最近公開されたマルチモーダルなFakeAVCelebデータセットを用いた実験結果から、提案手法が89%の精度を達成し、既存のモデルを顕著に上回ることが示された。