Évaluation de la qualité et du roaming des données pour la recherche d'images composées

La tâche de recherche d'images composées (Composed Image Retrieval, CoIR) implique des requêtes combinant les modalités image et texte, permettant aux utilisateurs d'exprimer leur intention de manière plus efficace. Cependant, les jeux de données actuels pour CoIR sont d'un ordre de grandeur inférieur à ceux des autres tâches de vision et langage (Vision and Language, V&L). De plus, certains de ces jeux de données présentent des problèmes notables, tels que des requêtes contenant des modalités redondantes. Pour remédier à ces lacunes, nous présentons le jeu de données Large Scale Composed Image Retrieval (LaSCo), un nouveau jeu de données CoIR qui est dix fois plus grand que ceux existants. Le pré-entraînement sur notre LaSCo montre une amélioration notable des performances, même en situation zéro-shot. Par ailleurs, nous proposons une nouvelle approche pour l'analyse des jeux de données et méthodes CoIR, capable de détecter la redondance ou la nécessité des modalités dans les requêtes. Nous introduisons également un nouveau modèle de référence pour CoIR, le Cross-Attention driven Shift Encoder (CASE). Ce modèle permet une fusion précoce des modalités grâce à un module d'attention croisée et utilise une tâche auxiliaire supplémentaire pendant l'entraînement. Nos expériences démontrent que ce nouveau modèle de référence surpasses les méthodes actuelles state-of-the-art sur des benchmarks établis comme FashionIQ et CIRR.