HyperAIHyperAI

Command Palette

Search for a command to run...

Données Synthétiques Automatiques et Alignement de Caractéristiques Adaptatif en Détail pour la Recherche de Personnes Composée

Delong Liu Haiwen Li Zhaohui Hou Zhicheng Zhao Fei Su Yuan Dong

Résumé

La recherche de personnes a suscité une attention croissante. Les méthodes existantes sont principalement divisées en deux modes de recherche, à savoir l'image seule et le texte seul. Cependant, ces méthodes ne parviennent pas à exploiter pleinement les informations disponibles et ont du mal à répondre aux diverses exigences des applications. Pour remédier à ces limitations, nous proposons une nouvelle tâche de Recherche de Personnes Composée (CPR), qui combine des requêtes visuelles et textuelles pour identifier les individus d'intérêt dans des bases de données d'images de personnes à grande échelle. Néanmoins, la principale difficulté de la tâche CPR est le manque de jeux de données annotés disponibles. Par conséquent, nous présentons d'abord un pipeline de synthèse de données automatique évolutif, qui décompose la génération de données multimodales complexes en la création de quadruplets textuels suivie par la synthèse d'images cohérentes avec l'identité en utilisant des modèles génératifs affinés. Parallèlement, une méthode de filtrage multimodal est conçue pour garantir que le jeu de données SynCPR résultant conserve 1,15 million de triplets synthétiques et de haute qualité. De plus, afin d'améliorer la représentation des requêtes composées sur les personnes, nous proposons un nouveau cadre Fine-grained Adaptive Feature Alignment (FAFA) grâce à un alignement dynamique fine-grain et une raisonnement sur les caractéristiques masquées. En outre, pour une évaluation objective, nous avons manuellement annoté le jeu de test Image-Text Composed Person Retrieval (ITCPR). Les expériences approfondies démontrent l'efficacité du jeu de données SynCPR et la supériorité du cadre FAFA proposé par rapport aux méthodes les plus avancées actuellement disponibles. Tout le code source et les données seront fournis à l'adresse suivante : https://github.com/Delong-liu-bupt/Composed_Person_Retrieval.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp