AOT：外見最適輸送に基づくアイデンティティスワッピングによる改ざん検出

最近の研究では、多様性と挑戦性に富んだDeepfakeデータセットを用いることで、偽造検出の性能向上が可能であることが示されている。しかし、近年のアイデンティティ交換手法では、外見上の大きなばらつきを再現することが困難であり、実世界において広く見られる照明条件や肌色の著しい差異を含むような、外見に大きな違いを持つDeepfakeデータセットが不足しているため、検出アルゴリズムがそのような状況下で機能不全に陥る可能性がある。本研究では、顔偽造検出に向けた外見上の顕著な差異を有する新しいアイデンティティ交換アルゴリズムを提案する。これらの外見的差異は、実世界において一般的に存在する照明の違いや肌色の相違に起因する。しかし、複雑な外見マッピングをモデル化する困難さのため、顔の特徴（アイデンティティ）を保持しつつ、細部にわたる外見を適応的に転送することは極めて困難である。本論文では、外見マッピングを最適輸送問題として定式化し、潜在空間およびピクセル空間の両方で表現可能な「外見最適輸送モデル（Appearance Optimal Transport model, AOT）」を提案する。具体的には、最適輸送計画を模倣するための再照明生成器（relighting generator）を設計し、潜在空間における学習済み特徴のワッサーシュタイン距離を最小化することで最適化を実現する。これにより、従来の最適化手法と比較してより高い性能と低い計算コストを達成できる。さらに、最適輸送計画の解を精緻化するため、ピクセル空間におけるワッサーシュタイン距離を最小化するセグメンテーションゲームを構築した。このゲームでは、本物と偽物の画像パッチが混合された状態から偽物領域を識別するための識別器（discriminator）を導入している。広範な実験結果から、本手法が最先端手法と比較して優れた性能を発揮し、生成されたデータが顔偽造検出の性能向上に寄与する能力が確認された。