HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage par contraste prototypique basé sur CLIP pour le fine-tuning de la réidentification d'objets

Jiachen Li Xiaojin Gong

Résumé

Ce travail vise à adapter les grands modèles pré-entraînés vision-langage, tels que le modèle de pré-entraînement contraste image-langage (CLIP), afin d’améliorer les performances de la réidentification d’objets (Re-ID) dans diverses configurations de supervision. Bien que l’apprentissage de prompts ait permis à une méthode récente, nommée CLIP-ReID, d’obtenir des résultats prometteurs, les mécanismes sous-jacents et la nécessité de l’apprentissage de prompts restent peu clairs en raison de l’absence de labels sémantiques dans les tâches de Re-ID. Dans ce travail, nous analysons d’abord le rôle de l’apprentissage de prompts dans CLIP-ReID et identifions ses limites. À partir de ces investigations, nous proposons une approche simple mais efficace pour adapter CLIP à la réidentification supervisée d’objets. Notre méthode fine-tune directement l’encodeur d’images de CLIP en utilisant une fonction de perte basée sur un apprentissage contrastif prototypique (PCL), éliminant ainsi la nécessité d’un apprentissage de prompts. Les résultats expérimentaux sur des jeux de données de réidentification de personnes et de véhicules démontrent la compétitivité de notre méthode par rapport à CLIP-ReID. En outre, nous étendons notre approche de fine-tuning de CLIP basée sur PCL aux scénarios non supervisés, où nous atteignons des performances de pointe.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage par contraste prototypique basé sur CLIP pour le fine-tuning de la réidentification d'objets | Articles | HyperAI