唇は嘘をつかない：顔の偽造検出への一般化可能で堅牢なアプローチ

現在の深層学習ベースの顔偽造検出器は、制約のあるシナリオにおいて優れた性能を達成していますが、未知の操作手法によって生成されたサンプルに対して脆弱です。最近のいくつかの研究では一般化能力の向上が示されていますが、これらの方法は圧縮などの一般的な後処理操作によって容易に破壊される手がかりに依存しています。本論文では、LipForensicsという新しい検出アプローチを提案します。このアプローチは、新しい操作手法にも対応でき、さまざまな歪みに耐える能力を持っています。LipForensicsは、口の動きにおける高レベルの意味的な不規則性（これは多くの生成動画で一般的です）を対象としています。まず、時空間ネットワークを視覚的音声認識（リップリーディング）のために事前学習させることで、自然な口の動きに関連する豊かな内部表現を学習します。その後、時系列ネットワークを実データと偽データの固定された口部埋め込みに対して微調整し、低レベルの操作特有のアーティファクトに過度に適合することなく、口の動きに基づいて偽動画を検出します。広範な実験結果から、この単純なアプローチは未知の操作手法への一般化能力和らびみに対する堅牢性において現行最先端技術を大幅に上回ることが示されるとともに、その性能に影響を与える要因についても明らかになっています。コードはGitHub上で公開されています。注：「らびみ」（perturbations）という言葉は一般的ではありませんので、「歪み」を使用しました。「らびみ」が必要な場合は括弧内に原文を記載します。（例：歪み（perturbations））