HyperAIHyperAI

Command Palette

Search for a command to run...

L’agrégation de coût est tout ce dont vous avez besoin pour la segmentation en peu d’exemples

Sunghwan Hong Seokju Cho Jisu Nam Seungryong Kim

Résumé

Nous introduisons un nouveau réseau d’agrégation de coûts, baptisé Volumetric Aggregation with Transformers (VAT), conçu pour aborder la tâche de segmentation en peu de exemples en exploitant à la fois les réseaux de convolution et les transformateurs afin de traiter efficacement les cartes de corrélation de haute dimension entre les images de requête et les images de support. Plus précisément, nous proposons un encodeur composé d’un module d’embedding volumétrique, qui transforme non seulement les cartes de corrélation en une taille plus maniable, mais aussi injecte une certaine biais inductif convolutif, ainsi qu’un module de transformateur volumétrique dédié à l’agrégation de coûts. Notre encodeur adopte une structure pyramidale, permettant à l’agrégation de niveau grossier de guider celle de niveau plus fin, tout en imposant l’apprentissage de scores de correspondance complémentaires. Ensuite, nous alimentons la sortie de cet encodeur dans un décodeur sensible à l’affinité, combiné aux cartes de caractéristiques projetées, afin de guider le processus de segmentation. En combinant ces composants, nous menons des expériences pour démontrer l’efficacité de la méthode proposée, qui établit un nouveau record sur tous les benchmarks standards dans la tâche de segmentation en peu de exemples. Par ailleurs, nous constatons que la méthode proposée atteint également des performances de pointe sur les benchmarks standards de la tâche de correspondance sémantique, bien qu’elle n’ait pas été spécifiquement conçue pour cette dernière. Nous fournissons également une étude ablation approfondie afin de valider nos choix architecturaux. Les poids entraînés ainsi que le code sont disponibles à l’adresse suivante : https://seokju-cho.github.io/VAT/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp