MMFusion: 画像フォレンジックフィルターの統合による視覚操作の検出と局所化

最近の画像操作局所化および検出技術は、ノイズに敏感なフィルター（例：SRMやBayar畳み込み）によって生成される鑑識アーティファクトやトレースを活用することが一般的です。本論文では、これらの手法で一般的に使用される異なるフィルターが、異なる種類の操作を明らかにするのに優れており、補完的な鑑識トレースを提供することを示します。したがって、生成されたアーティファクトの補完性を活用して画像操作局所化および検出（IMLD）を行うための、そのようなフィルターの出力を組み合わせる方法を探ります。私たちは2つの異なる組み合わせ方法を評価しました：各鑑識フィルターから独立した特徴量を抽出し、その後融合する方法（これを遅延融合と呼びます）と、異なるモダリティの出力を早期に混合して結合特徴量を生成する方法（これを早期融合と呼びます）。後者の方法を特徴量エンコーディングメカニズムとして使用し、新しいデコーディングメカニズム（特徴量再重み付けを含む）とともに提案されたMMFusionアーキテクチャを構築します。MMFusionが複数の画像およびビデオデータセットにおいて競合する性能を達成し、最新のモデルを超えることを示しています。また、MMFusion内で各鑑識フィルターが異なる種類の操作に対処するために果たす役割についてもさらに調査し、最近のAI説明可能性指標に基づいています。