要約
私たちは、マルチモーダル画像パッチマッチングに向けたアテンションベースの手法を提案します。この手法は、マルチスケールのシアムCNNの特徴マップに注目するトランスフォーマーエンコーダーを使用しています。私たちのエンコーダーは、マルチスケールの画像埋め込みを効率的に集約しながら、タスク固有の外観不変性の画像ヒントを強調することが示されています。また、エンコーダーをバイパスする残差接続を使用したアテンション-レジデュアルアーキテクチャも導入しました。この追加的な学習信号は、ゼロからエンドツーエンドで学習を行うことを容易にします。実験結果により、当手法がマルチモーダルおよび単一モーダルベンチマークにおいて新たな最先端の精度を達成していることが示され、その一般的な適用可能性が確認されました。私たちが知る限りでは、これはトランスフォーマーエンコーダーarchitecture（アーキテクチャ）をマルチモーダル画像パッチマッチングタスクに成功裏に適用した最初の実装です。