HyperAIHyperAI

Command Palette

Search for a command to run...

Intégration d'une guidance linguistique dans l'apprentissage profond métrique basé sur la vision

Karsten Roth Oriol Vinyals Zeynep Akata

Résumé

L’apprentissage métrique profond (Deep Metric Learning, DML) vise à apprendre des espaces métriques où les distances dans l’espace d’embeddings codent des similarités sémantiques. Ces espaces doivent être transférables à des classes n’ayant pas été observées durant l’entraînement. En pratique, les méthodes DML habituelles incitent les réseaux à résoudre des tâches de classement contrastif définies à partir d’affectations binaires de classes. Toutefois, de telles approches ignorent les relations sémantiques de niveau supérieur entre les classes réelles, ce qui conduit à des espaces d’embeddings appris peu complets sur le plan sémantique et à une représentation erronée des relations entre classes, au détriment de la généralisation de l’espace métrique appris. Pour surmonter ce problème, nous proposons une objectif guidé par le langage pour l’apprentissage de similarités visuelles. En exploitant les embeddings linguistiques de noms de classes experts et de pseudo-noms de classes, nous contextualisons et recalibrer les espaces de représentation visuelle afin de mieux aligner ces derniers sur des significations linguistiques pertinentes, améliorant ainsi la cohérence sémantique. Des expérimentations étendues et des ablations fournissent une solide justification de notre approche, démontrant que la guidance linguistique apporte des améliorations significatives et indépendantes du modèle pour le DML, atteignant des résultats compétitifs et de pointe sur toutes les benchmarks. Le code est disponible à l’adresse suivante : https://github.com/ExplainableML/LanguageGuidance_for_DML.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp