Perte Multi-Similarité avec un Poids de Paire Général pour l'Apprentissage Profond de Métriques

Une famille de fonctions de perte basées sur le calcul par paires a été proposée dans la littérature, offrant une multitude de solutions pour l'apprentissage profond de métriques. Dans cet article, nous présentons un cadre de pondération général pour comprendre les récentes fonctions de perte basées sur les paires. Nos contributions sont triples : (1) nous établissons un cadre de Pondération Générale des Paires (PGP), qui transforme le problème d'échantillonnage de l'apprentissage profond de métriques en une vision unifiée de la pondération des paires à travers l'analyse du gradient, fournissant ainsi un outil puissant pour comprendre les récentes fonctions de perte basées sur les paires ; (2) nous montrons que grâce à la PGP, diverses méthodes existantes basées sur les paires peuvent être comparées et discutées de manière exhaustive, avec des différences claires et des limites essentielles identifiées ; (3) nous proposons une nouvelle fonction de perte appelée Multi-Similarité Loss (MS loss) au sein du cadre PGP, qui est mise en œuvre en deux étapes itératives (c'est-à-dire, extraction et pondération). Cela lui permet d'intégrer pleinement trois similarités pour la pondération des paires, offrant une approche plus fondée pour collecter et pondérer des paires informatives. Enfin, la MS loss proposée obtient des performances record sur quatre benchmarks d'indexation d'images, où elle surpass largement les approches les plus récentes telles que ABE\cite{Kim_2018_ECCV} et HTL : 60,6 % à 65,7 % sur CUB200, et 80,9 % à 88,0 % sur le dataset In-Shop Clothes Retrieval au Recall@1. Le code est disponible à l'adresse suivante : https://github.com/MalongTech/research-ms-loss.