統合特徴量とコスト集約を用いたトランスフォーマーによる密集対応

我々は、密対応のための新しいアーキテクチャを提案します。現在の最先端技術は、特徴記述子またはコストボリューム集約に焦点を当てたTransformerベースの手法が主流となっています。しかし、これらの手法は一般的に一方または他方を集約するだけで、両方を同時に集約することは少ないです。共同集約を行うことで、一方が持つ情報（構造的または意味的な情報）と他方が持たない情報（画素単位でのマッチング類似性）を補完し合い、相互に性能向上につながることが期待されます。本研究では、このような補完情報を活用するために、特徴記述子とコストボリュームの両方の集約を交互に行う新しいTransformerベースのネットワークを提案します。具体的には、自己注意層（self-attention layer）を設計し、この層は特徴記述子を利用してノイジーなコストボリュームの曖昧さを解消するとともに、コストボリュームを利用して正確なマッチングを促進する特徴量の集約を行います。その後続くクロス注意層（cross-attention layer）では、両画像の特徴記述子に基づいてさらに集約を行い、前段階で集約された出力によって支援されます。さらに、粗いレベルでの集約結果が細かいレベルでの処理をガイドする階層的処理により性能向上を目指しています。提案手法の有効性は密マッチングタスクにおいて評価され、主要なベンチマークすべてで最先端の性能を達成しました。また、設計選択肢の妥当性を検証するために広範な削減実験も行われています。