Mémoire interséries pour l'apprentissage des embeddings

L’extraction d’exemples négatifs informatifs joue un rôle central dans l’apprentissage métrique profond (DML), mais cette tâche est intrinsèquement limitée par l’entraînement par mini-batch, dans lequel seul un mini-batch d’exemples est accessible à chaque itération. Dans cet article, nous identifions un phénomène de « dérive lente » en observant que les caractéristiques d’embedding évoluent de manière exceptionnellement lente, même alors que les paramètres du modèle sont mis à jour tout au long du processus d’entraînement. Cela suggère que les caractéristiques des exemples calculées lors des itérations précédentes peuvent être utilisées pour approximer de manière significative celles extraites par le modèle actuel. Nous proposons un mécanisme de mémoire inter-mini-batch (XBM) qui mémorise les embeddings des itérations passées, permettant au modèle de collecter efficacement des paires d’exemples négatifs difficiles sur plusieurs mini-batches — voire sur l’ensemble du jeu de données. Notre XBM peut être directement intégré à un cadre général basé sur les paires pour le DML, où le DML amélioré par XBM conduit à une amélioration notable des performances. En particulier, sans aucune complication supplémentaire, une simple perte de contraste combinée à notre XBM permet d’obtenir des gains importants en R@1 de 12 % à 22,5 % sur trois grands jeux de données de récupération d’images, surpassant de manière significative les méthodes de pointe les plus sophistiquées. Notre XBM est conceptuellement simple, facile à implémenter — nécessitant seulement quelques lignes de code — et efficace en mémoire, avec une consommation supplémentaire négligeable de 0,2 Go de mémoire GPU. Le code est disponible à l’adresse suivante : https://github.com/MalongTech/research-xbm.