Aggrégation locale pour l'apprentissage non supervisé d'embeddings visuels

Les approches non supervisées d'apprentissage dans les réseaux de neurones suscitent un intérêt considérable pour le développement de l'intelligence artificielle, tant parce qu'elles permettraient d'entraîner des réseaux sans nécessiter un grand nombre d'annotations coûteuses, que parce qu'elles constitueraient de meilleurs modèles de l'apprentissage à vocation générale déployé par les humains. Cependant, les réseaux non supervisés ont longtemps été en retard par rapport aux performances de leurs homologues supervisés, en particulier dans le domaine de la reconnaissance visuelle à grande échelle. Des progrès récents dans l'entraînement d'embeddings convolutifs profonds pour maximiser la séparation non paramétrique des instances et les objectifs de clustering montrent un potentiel prometteur pour combler cet écart. Ici, nous décrivons une méthode qui entraîne une fonction d'embedding pour maximiser une métrique d'agrégation locale, provoquant ainsi le rapprochement des instances de données similaires dans l'espace d'embedding, tout en permettant aux instances dissimilaires de se séparer. Cette métrique d'agrégation est dynamique, ce qui permet l'émergence de clusters souples à différentes échelles. Nous évaluons notre procédure sur plusieurs jeux de données de reconnaissance visuelle à grande échelle, obtenant des performances d'apprentissage par transfert non supervisé de pointe pour la reconnaissance d'objets dans ImageNet, la reconnaissance de scènes dans Places 205 et la détection d'objets dans PASCAL VOC.