L’agrégation de coût est tout ce dont vous avez besoin pour la segmentation en peu d’exemples

Nous introduisons un nouveau réseau d’agrégation de coûts, baptisé Volumetric Aggregation with Transformers (VAT), conçu pour aborder la tâche de segmentation en peu de exemples en exploitant à la fois les réseaux de convolution et les transformateurs afin de traiter efficacement les cartes de corrélation de haute dimension entre les images de requête et les images de support. Plus précisément, nous proposons un encodeur composé d’un module d’embedding volumétrique, qui transforme non seulement les cartes de corrélation en une taille plus maniable, mais aussi injecte une certaine biais inductif convolutif, ainsi qu’un module de transformateur volumétrique dédié à l’agrégation de coûts. Notre encodeur adopte une structure pyramidale, permettant à l’agrégation de niveau grossier de guider celle de niveau plus fin, tout en imposant l’apprentissage de scores de correspondance complémentaires. Ensuite, nous alimentons la sortie de cet encodeur dans un décodeur sensible à l’affinité, combiné aux cartes de caractéristiques projetées, afin de guider le processus de segmentation. En combinant ces composants, nous menons des expériences pour démontrer l’efficacité de la méthode proposée, qui établit un nouveau record sur tous les benchmarks standards dans la tâche de segmentation en peu de exemples. Par ailleurs, nous constatons que la méthode proposée atteint également des performances de pointe sur les benchmarks standards de la tâche de correspondance sémantique, bien qu’elle n’ait pas été spécifiquement conçue pour cette dernière. Nous fournissons également une étude ablation approfondie afin de valider nos choix architecturaux. Les poids entraînés ainsi que le code sont disponibles à l’adresse suivante : https://seokju-cho.github.io/VAT/.