Distinction entre gauche et droite : Identification de correspondances sémantiques sensibles à la géométrie

Alors que les modèles de vision pré-entraînés à grande échelle ont montré un potentiel considérable pour la correspondance sémantique, leurs caractéristiques peinent souvent à saisir la géométrie et l'orientation des instances. Cet article souligne l'importance d'être sensible à la géométrie pour la correspondance sémantique et révèle une limitation des caractéristiques des modèles actuels lors d'un post-traitement simple. Nous démontrons que l'intégration de cette information peut améliorer de manière notable les performances de correspondance sémantique avec des solutions simples mais efficaces, tant dans le cadre zéro-shot que supervisé. Nous avons également construit un nouveau benchmark difficile pour la correspondance sémantique, à partir d'un jeu de données existant d'estimation de poses animales, destiné à la fois à l'entraînement préalable et à la validation des modèles. Notre méthode obtient un score [email protected] de 65,4 (zéro-shot) et 85,6 (supervisé) sur le jeu de données difficile SPair-71k, surpassant l'état de l'art avec des gains absolus respectifs de 5,5 points et 11,0 points. Notre code et nos jeux de données sont librement accessibles à l'adresse suivante : https://telling-left-from-right.github.io/.