HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Récupération d'images conditionnée et composée combinant des caractéristiques CLIP ajustées partiellement et entièrement

{Alberto del Bimbo Tiberio Uricchio Marco Bertini Alberto Baldrati}

Récupération d'images conditionnée et composée combinant des caractéristiques CLIP ajustées partiellement et entièrement

Résumé

Dans cet article, nous présentons une méthode de recherche d’images conditionnelle et composée fondée sur les caractéristiques CLIP. Dans cette extension de la recherche d’images par contenu (CBIR), une image est associée à un texte qui exprime les intentions de l’utilisateur et est pertinent pour des domaines d’application tels que le commerce électronique. La méthode proposée repose sur une phase initiale d’entraînement, durant laquelle une combinaison simple des caractéristiques visuelles et textuelles est utilisée pour ajuster finement l’encodeur texte de CLIP. Ensuite, lors d’une deuxième phase d’entraînement, nous apprenons un réseau de combinaison plus complexe capable de fusionner les caractéristiques visuelles et textuelles. L’apprentissage contrastif est employé dans les deux phases. L’approche proposée atteint des performances de pointe pour la recherche d’images conditionnelle sur le jeu de données FashionIQ, ainsi que pour la recherche d’images composée sur le jeu de données plus récent CIRR.

Benchmarks

BenchmarkMéthodologieMétriques
image-retrieval-on-cirrCLIP4Cir (v2)
(Recall@5+Recall_subset@1)/2: 69.09
image-retrieval-on-fashion-iqCLIP4Cir (v2)
(Recall@10+Recall@50)/2: 50.03
image-retrieval-on-lascoCLIP4CIR
Recall@1 (%): 4.01

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Récupération d'images conditionnée et composée combinant des caractéristiques CLIP ajustées partiellement et entièrement | Articles de recherche | HyperAI