Transformers à vision hyperbolique : combinaison d'améliorations en apprentissage de métrique

L’apprentissage métrique vise à apprendre un modèle fortement discriminant, encourageant les embeddings de classes similaires à être proches dans la métrique choisie, tout en étant éloignés pour les classes dissimilaires. La méthode classique consiste à utiliser un encodeur pour extraire les embeddings, associé à une fonction de perte basée sur la distance, généralement la distance euclidienne. Un intérêt croissant pour l’apprentissage d’embeddings dans un espace hyperbolique suggère que la géométrie hyperbolique peut offrir des avantages pour les données naturelles. Dans cette lignée, nous proposons un nouveau modèle fondé sur l’espace hyperbolique pour l’apprentissage métrique. Au cœur de notre approche se trouve un vision transformer dont les embeddings de sortie sont projetés dans un espace hyperbolique. Ces embeddings sont directement optimisés à l’aide d’une perte croisée binaire modifiée. Nous évaluons le modèle proposé avec six formulations différentes sur quatre jeux de données, obtenant ainsi de nouvelles performances de pointe. Le code source est disponible à l’adresse suivante : https://github.com/htdt/hyp_metric.