HyperAIHyperAI
il y a 17 jours

Perte d'ancrage proxy pour l'apprentissage profond de métriques

Sungyeon Kim, Dongwon Kim, Minsu Cho, Suha Kwak
Perte d'ancrage proxy pour l'apprentissage profond de métriques
Résumé

Les pertes d'apprentissage métrique existantes peuvent être classées en deux catégories : les pertes basées sur les paires et les pertes basées sur les proxies. La première catégorie permet d'exploiter des relations sémantiques fines entre les points de données, mais ralentit généralement la convergence en raison de sa complexité d'entraînement élevée. À l'inverse, la seconde catégorie permet une convergence rapide et fiable, mais ne prend pas en compte les relations riches entre les données. Ce papier présente une nouvelle perte basée sur les proxies qui combine les avantages des méthodes basées sur les paires et celles basées sur les proxies, tout en surmontant leurs limites respectives. Grâce à l'utilisation de proxies, notre perte accélère la convergence et est robuste aux étiquettes bruitées et aux valeurs aberrantes. En parallèle, elle permet aux vecteurs d'embedding des données d'interagir mutuellement au travers de ses gradients, afin d'exploiter pleinement les relations entre les données. Notre méthode a été évaluée sur quatre benchmarks publics, où un réseau standard entraîné avec notre perte atteint des performances de pointe et converge le plus rapidement.

Perte d'ancrage proxy pour l'apprentissage profond de métriques | Articles de recherche récents | HyperAI