HyperAIHyperAI

Command Palette

Search for a command to run...

VisualSparta : Une Approche Simplement Gênante pour la Recherche d'Images à Grande Échelle à Partir du Texte avec un Sac de Mots Pondéré

Xiaopeng Lu; Tiancheng Zhao; Kyusong Lee

Résumé

La recherche d'images à partir de texte est une tâche essentielle dans la récupération d'informations multimodales, c'est-à-dire la récupération d'images pertinentes à partir d'un grand ensemble de données non étiquetées en utilisant des requêtes textuelles. Dans cet article, nous proposons VisualSparta, un nouveau modèle (Visual-text Sparse Transformer Matching) qui montre des améliorations significatives en termes de précision et d'efficacité. VisualSparta est capable de surpasser les méthodes précédentes les plus performantes et évolutives sur les jeux de données MSCOCO et Flickr30K. Nous montrons également qu'il offre des avantages considérables en termes de vitesse de recherche, soit pour un index d'1 million d'images, VisualSparta utilisant un processeur CPU obtient une accélération d'environ 391 fois par rapport à la recherche vectorielle CPU et environ 5,4 fois par rapport à la recherche vectorielle avec accélération GPU. Les expériences démontrent que cet avantage en termes de vitesse s'accroît encore pour des ensembles de données plus importants, car VisualSparta peut être mis en œuvre efficacement sous forme d'index inversé. Selon nos connaissances, VisualSparta est le premier modèle de recherche d'images à partir de texte basé sur les transformateurs capable de recherches en temps réel pour des ensembles de données à grande échelle, avec une amélioration notable de la précision par rapport aux méthodes précédentes les plus performantes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
VisualSparta : Une Approche Simplement Gênante pour la Recherche d'Images à Grande Échelle à Partir du Texte avec un Sac de Mots Pondéré | Articles | HyperAI