Plongement de Caractéristiques Profondes Conscient de la Similarité Locale

Les méthodes d'embedding profond existantes dans les tâches de vision sont capables d'apprendre un espace euclidien compact à partir d'images, où les distances euclidiennes correspondent à une métrique de similarité. Pour rendre l'apprentissage plus efficace et plus rapide, l'extraction des échantillons difficiles est généralement utilisée, en identifiant ces échantillons par le calcul de la distance euclidienne des caractéristiques. Cependant, la distance euclidienne globale ne peut pas fidèlement caractériser la véritable similarité des caractéristiques dans un espace de caractéristiques visuelles complexe, où la distance intraclasse dans une région à haute densité peut être supérieure à la distance interclasse dans des régions à faible densité. Dans cet article, nous introduisons une unité de Métrique Profonde Dépendante de la Position (PDDM), capable d'apprendre une métrique de similarité adaptée à la structure locale des caractéristiques. Cette métrique peut être utilisée pour sélectionner réellement les échantillons difficiles au sein d'un voisinage local afin de guider l'apprentissage de l'embedding profond de manière en ligne et robuste. La nouvelle couche est intéressante car elle peut être intégrée à n'importe quel réseau convolutif et est entraînée de bout en bout. Notre embedding de caractéristiques sensible à la similarité locale non seulement montre une convergence plus rapide et une amélioration des performances sur deux jeux de données complexes d'indexation d'images, mais sa nature avec marge large conduit également à des résultats généralisés supérieurs dans les scénarios de transfert d'apprentissage et d'apprentissage par zéro-shot sur les jeux de données ImageNet 2010 et ImageNet-10K.