HyperAIHyperAI

Command Palette

Search for a command to run...

Récupération d'images composées zéro-shot avec inversion textuelle

Baldrati Alberto ; Agnolucci Lorenzo ; Bertini Marco ; Del Bimbo Alberto

Résumé

La recherche d'images composites (CIR) vise à récupérer une image cible en fonction d'une requête composée d'une image de référence et d'une légende relative décrivant la différence entre les deux images. Les efforts importants et coûteux nécessaires pour étiqueter les jeux de données pour le CIR entravent l'utilisation généralisée des méthodes existantes, celles-ci reposant sur l'apprentissage supervisé. Dans ce travail, nous proposons une nouvelle tâche, la recherche d'images composites sans supervision (ZS-CIR), qui vise à résoudre le problème du CIR sans nécessiter un jeu de données d'entraînement étiqueté. Notre approche, nommée Zero-Shot composEd imAge Retrieval with textuaL invErsion (SEARLE), mappe les caractéristiques visuelles de l'image de référence dans un jeton pseudo-mot dans l'espace d'embedding de tokens CLIP et l'intègre à la légende relative. Pour soutenir la recherche sur le ZS-CIR, nous introduisons un ensemble de données de benchmarking en domaine ouvert nommé Composed Image Retrieval on Common Objects in context (CIRCO), qui est le premier ensemble de données pour le CIR contenant plusieurs vérités terrain pour chaque requête. Les expériences montrent que SEARLE présente de meilleures performances que les méthodes de base sur les deux principaux ensembles de données pour les tâches de CIR, FashionIQ et CIRR, ainsi que sur le CIRCO proposé. L'ensemble de données, le code et le modèle sont disponibles au public sur https://github.com/miccunifi/SEARLE.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp