TruFor: 全方位の手がかりを活用した信頼性のある画像改ざん検出と位置特定

本稿では、TruForという鑑識フレームワークを紹介します。このフレームワークは、古典的なcheapfakesから最近の深層学習に基づく操作方法まで、多様な画像操作手法に適用可能です。我々は、RGB画像と学習されたノイズ感度フィンガープリントを組み合わせるトランスフォーマーベースの融合アーキテクチャを使用して、高レベルおよび低レベルの痕跡を抽出します。後者は、自己監督学習によって実際のデータのみで訓練され、カメラの内部処理と外部処理に関連するアーティファクトを埋め込むことを学びます。偽造物は、各 pristine 画像（未加工画像）が持つ予想される規則的なパターンからの逸脱として検出されます。異常を探ることにより、当手法は多様な局所操作を堅牢に検出し、汎化性能を確保します。当手法はピクセルレベルの局所化マップと全体画像の整合性スコアだけでなく、局所化予測が誤りやすい領域を強調表示する信頼性マップも出力します。これは特に鑑識応用において重要であり、誤警報を減らし大規模分析を可能にするためです。複数のデータセットに対する広範な実験により、当手法がcheapfakesおよびdeepfakes操作の両方を確実に検出し局所化できること、そして最先端の研究を超える性能を持つことが示されています。コードは公開されており、https://grip-unina.github.io/TruFor/ からアクセスできます。注：「cheapfakes」や「deepfakes」などの専門用語については一般的な日本語訳を使用していますが、「pristine image」については「未加工画像」と訳しました。「cheapfakes」や「deepfakes」については必要に応じて括弧内に原文を付記することも可能です（例：cheapfakes (安価な偽造)）。