Jitter basé sur la mémoire : amélioration de la reconnaissance visuelle sur des données à queue longue grâce à la diversité en mémoire

Ce papier s'intéresse à la reconnaissance visuelle profonde sur des données à distribution longue-queue. Pour assurer une généralité, nous considérons deux scénarios d'application : la classification profonde et l'apprentissage métrique profond. Dans une distribution de données à longue-queue, les classes majoritaires (c’est-à-dire les classes de queue) ne disposent que d’un nombre relativement faible d’échantillons et sont sujettes à une faible diversité intra-classe. Une solution radicale consiste à enrichir les classes de queue en augmentant leur diversité. À cette fin, nous proposons une méthode simple et fiable nommée Memory-based Jitter (MBJ). Nous observons qu’au cours de l’entraînement, le modèle profond modifie continuellement ses paramètres à chaque itération, ce qui donne lieu au phénomène de jitter des poids. En conséquence, pour une même image en entrée, deux versions historiques du modèle produisent deux représentations différentes dans l’espace intégré profond, entraînant ainsi un jitter des caractéristiques. En utilisant une mémoire (memory bank), nous collectons ces jitters (qu’ils soient liés aux poids ou aux caractéristiques) sur plusieurs itérations d’entraînement, ce qui donne naissance au Memory-based Jitter. Ces jitters accumulés renforcent la diversité intra-classe pour les classes de queue, améliorant ainsi la reconnaissance visuelle sur des données à longue-queue. Avec de légères modifications, MBJ est applicable à deux tâches fondamentales de reconnaissance visuelle, à savoir la classification d’images profonde et l’apprentissage métrique profond (sur des données à longue-queue). Des expérimentations étendues sur cinq benchmarks de classification à longue-queue et deux benchmarks d’apprentissage métrique profond démontrent une amélioration significative. En outre, les performances atteintes sont comparables aux états de l’art sur ces deux tâches.