RaSa : Apprentissage de représentations prenant en compte les relations et la sensibilité pour la recherche de personnes basée sur le texte

La recherche de personnes basée sur le texte vise à récupérer les images spécifiques d'une personne à partir d'une description textuelle. La clé pour relever ce défi consiste à apprendre des représentations multimodales puissantes. À cet égard, nous proposons une méthode d'apprentissage de représentation sensible aux relations et à la sensibilité (RaSa), comprenant deux tâches innovantes : l'apprentissage sensible aux relations (RA) et l'apprentissage sensible à la sensibilité (SA). D'une part, les méthodes existantes regroupent les représentations de tous les paires positives sans distinction et négligent le problème de bruit causé par les paires positives faibles où le texte et l'image associée ont des correspondances bruyantes, conduisant ainsi à un apprentissage surajusté. RA réduit ce risque de surajustement en introduisant une nouvelle tâche de détection de relations positives (c'est-à-dire apprendre à distinguer les paires positives fortes des paires positives faibles). D'autre part, l'apprentissage d'une représentation invariante sous augmentation de données (c'est-à-dire être insensible à certaines transformations) est une pratique courante pour améliorer la robustesse des représentations dans les méthodes existantes. Au-delà de cela, nous encourageons la représentation à percevoir la transformation sensible par SA (c'est-à-dire apprendre à détecter les mots remplacés), ce qui renforce encore la robustesse de la représentation. Les expériences montrent que RaSa surpassent les méthodes actuelles les plus avancées avec des améliorations respectives de 6,94 %, 4,45 % et 15,35 % en termes de Rank@1 sur les jeux de données CUHK-PEDES, ICFG-PEDES et RSTPReid. Le code est disponible à l'adresse suivante : https://github.com/Flame-Chasers/RaSa.