HyperAIHyperAI

Command Palette

Search for a command to run...

Transformers à vision hyperbolique : combinaison d'améliorations en apprentissage de métrique

Aleksandr Ermolov Leyla Mirvakhabova Valentin Khrulkov Nicu Sebe Ivan Oseledets

Résumé

L’apprentissage métrique vise à apprendre un modèle fortement discriminant, encourageant les embeddings de classes similaires à être proches dans la métrique choisie, tout en étant éloignés pour les classes dissimilaires. La méthode classique consiste à utiliser un encodeur pour extraire les embeddings, associé à une fonction de perte basée sur la distance, généralement la distance euclidienne. Un intérêt croissant pour l’apprentissage d’embeddings dans un espace hyperbolique suggère que la géométrie hyperbolique peut offrir des avantages pour les données naturelles. Dans cette lignée, nous proposons un nouveau modèle fondé sur l’espace hyperbolique pour l’apprentissage métrique. Au cœur de notre approche se trouve un vision transformer dont les embeddings de sortie sont projetés dans un espace hyperbolique. Ces embeddings sont directement optimisés à l’aide d’une perte croisée binaire modifiée. Nous évaluons le modèle proposé avec six formulations différentes sur quatre jeux de données, obtenant ainsi de nouvelles performances de pointe. Le code source est disponible à l’adresse suivante : https://github.com/htdt/hyp_metric.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp