OBoW : Génération en ligne du sac de mots visuels pour l'apprentissage auto-supervisé

L’apprentissage de représentations d’images sans supervision humaine est un domaine de recherche important et actif. Plusieurs approches récentes ont réussi à exploiter l’idée de rendre ces représentations invariantes face à divers types de perturbations, notamment via un entraînement basé sur la discrimination d’instances par contraste. Bien que des représentations visuelles efficaces devraient effectivement présenter de telles invariances, d’autres caractéristiques essentielles, telles que la capacité à encoder des compétences de raisonnement contextuel, pourraient mieux être capturées par des approches alternatives fondées sur la reconstruction.Dans cette optique, nous proposons un schéma enseignant-apprenti visant à apprendre des représentations en entraînant un réseau convolutif à reconstruire une représentation « sac de mots visuels » (BoW, bag-of-visual-words) d’une image, à partir d’une version perturbée de cette même image en entrée. Notre stratégie permet un apprentissage en ligne à la fois du réseau enseignant (dont le rôle est de générer les cibles BoW) et du réseau apprenti (dont le rôle est d’apprendre les représentations), ainsi qu’une mise à jour en ligne du vocabulaire des mots visuels utilisé pour les cibles BoW. Cette approche permet ainsi une apprentissage non supervisé guidé par le BoW entièrement en ligne. Des expériences étendues démontrent l’intérêt de notre stratégie basée sur le BoW, qui surpasser des méthodes de pointe précédentes (y compris celles basées sur le contraste) dans plusieurs applications. Par exemple, dans des tâches ultérieures telles que la détection d’objets sur Pascal, la classification sur Pascal et la classification sur Places205, notre méthode obtient de meilleurs résultats que toutes les approches non supervisées antérieures, établissant ainsi de nouveaux états de l’art, nettement supérieurs même à ceux obtenus par une pré-formation supervisée. Nous mettons à disposition le code source à l’adresse suivante : https://github.com/valeoai/obow.