Command Palette
Search for a command to run...
Recherche de personnes basée sur le texte par correspondance assistée par les attributs
Recherche de personnes basée sur le texte par correspondance assistée par les attributs
Surbhi Aggarwal R. Anirban Chakraborty Venkatesh Babu
Résumé
La recherche de personnes basée sur le texte vise à récupérer les images de piétons correspondant le mieux à une requête textuelle donnée. Les méthodes existantes exploitent les informations d’identité de classe afin d’obtenir des caractéristiques discriminantes et préservant l’identité. Toutefois, il n’est pas suffisamment exploré si l’explicitation de la préservation des significations sémantiques des données est bénéfique. Dans ce travail proposé, nous visons à créer des embeddings préservant les sémantiques grâce à une tâche supplémentaire de prédiction d’attributs. Étant donné que les annotations d’attributs sont généralement indisponibles dans les jeux de données de recherche de personnes basés sur le texte, nous les extrayons d’abord à partir du corpus textuel. Ces attributs sont ensuite utilisés comme moyen de réduire l’écart modal entre les entrées image-texte, tout en améliorant l’apprentissage des représentations. En résumé, nous proposons une approche pour la recherche de personnes basée sur le texte, fondée sur l’apprentissage d’un espace piloté par les attributs, combiné à un espace piloté par les informations de classe, et nous exploitons les deux pour obtenir les résultats de récupération. Nos expériences sur le jeu de données standard CUHK-PEDES montrent qu’apprendre l’espace d’attributs améliore non seulement les performances, atteignant une précision Rank-1 de 56,68 %, soit un résultat optimal actuel, mais produit également des caractéristiques interprétables par l’humain.