構造的マッチングを用いた解釈可能性を有するディープメトリック学習

ニューラルネットワークは、どのようにして2枚の画像を区別するのでしょうか？監視やアクセス制御など、リスクの高い視覚的応用において信頼性の高い知能システムを構築するためには、深層モデルの類似性マッチングメカニズムを理解することが極めて重要です。しかし、現存する多くの深層マトリクス学習手法は、特徴ベクトル同士を比較することで画像をマッチングさせるものであり、画像の空間構造を無視しているため、解釈可能性に欠けるという問題があります。本論文では、より透明性の高い埋め込み学習を実現するための深層解釈可能なマトリクス学習（Deep Interpretable Metric Learning, DIML）手法を提案します。従来の特徴ベクトル比較に基づくマトリクス学習とは異なり、本手法は2枚の画像の特徴マップ間における最適マッチングフローを計算することで、空間的な埋め込みを明示的に整合させる構造的マッチング戦略を採用しています。これにより、深層モデルはより人間にとって直感的な方法でマトリクスを学習でき、2枚の画像の類似性を、複数の部分ごとの類似性およびそれらが全体の類似性に与える寄与度に分解して解釈することが可能になります。本手法はモデル非依存であり、既存のバックボーンネットワークやマトリクス学習手法に容易に適用可能です。CUB200-2011、Cars196、Stanford Online Productsの3つの主要な深層マトリクス学習ベンチマークにおいて本手法を評価した結果、従来の代表的なマトリクス学習手法と比較して顕著な性能向上が得られ、さらに解釈性も優れています。コードは https://github.com/wl-zhao/DIML にて公開されています。