HyperAIHyperAI

Command Palette

Search for a command to run...

CATs : Transformateurs d’agrégation de coût pour la correspondance visuelle

Seokju Cho Sunghwan Hong Sangryul Jeon Yunsung Lee Kwanghoon Sohn Seungryong Kim

Résumé

Nous proposons un nouveau réseau d’agrégation de coûts, appelé Transformateurs d’Agrégation de Coûts (CATs), afin de trouver des correspondances denses entre des images sémantiquement similaires, dans des conditions rendues plus complexes par de fortes variations intra-classe d’apparence et de géométrie. L’agrégation de coûts constitue un processus essentiel dans les tâches de correspondance, dont la précision dépend directement de la qualité de sa sortie. Contrairement aux méthodes traditionnelles ou basées sur les réseaux de neurones convolutifs (CNN), qui souffrent soit d’une faible robustesse aux déformations sévères, soit de limitations inhérentes aux CNN — notamment leur incapacité à distinguer les correspondances incorrectes en raison de champs réceptifs limités —, les CATs explorent le consensus global au sein de la carte initiale de corrélation grâce à des conceptions architecturales permettant une exploitation optimale du mécanisme d’attention auto-attention. Plus précisément, nous intégrons un modèle d’affinité d’apparence afin d’aider le processus d’agrégation de coûts, en vue de débruiter les cartes initiales de corrélation bruitées, et proposons une agrégation multi-niveaux pour capturer efficacement différentes sémantiques à partir de représentations hiérarchiques des caractéristiques. Nous combinons ensuite cette approche avec une technique d’attention auto-attention par permutation (swapping self-attention) et des connexions résiduelles, non seulement pour renforcer la cohérence des correspondances, mais aussi pour faciliter l’apprentissage, ce que nous constatons entraîner une amélioration significative des performances. Nous menons des expériences pour démontrer l’efficacité du modèle proposé par rapport aux méthodes les plus récentes, et fournissons des études ablatives approfondies. La page du projet est disponible à l’adresse suivante : https://sunghwanhong.github.io/CATs/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp