Réseau Siamese dense pour l’apprentissage non supervisé dense

Cet article présente Dense Siamese Network (DenseSiam), un cadre d’apprentissage non supervisé simple destiné aux tâches de prédiction dense. Il apprend des représentations visuelles en maximisant la similarité entre deux vues d’une même image, en s’appuyant sur deux types de cohérence : la cohérence au niveau des pixels et la cohérence au niveau des régions. Plus précisément, DenseSiam maximise d’abord la cohérence spatiale au niveau pixel par pixel, en exploitant la correspondance exacte des positions dans la zone de superposition. Il extrait également un lot d’encodages régionaux correspondant à certaines sous-régions présentes dans cette zone de superposition, afin de les contraster pour établir la cohérence régionale. Contrairement aux méthodes antérieures qui nécessitent des paires de pixels négatifs, des encodeurs à momentum ou des masques heuristiques, DenseSiam tire profit d’un réseau siamois simple et optimise la cohérence à différentes granularités. Il démontre également que la correspondance de position simple et les encodages régionaux interactifs sont suffisamment efficaces pour apprendre la similarité. Nous appliquons DenseSiam sur ImageNet et obtenons des améliorations compétitives sur diverses tâches supervisées ultérieures. Nous montrons également que, grâce à l’ajout de pertes spécifiques à la tâche, ce cadre simple peut directement effectuer des tâches de prédiction dense. Sur une base de référence existante pour la segmentation sémantique non supervisée, DenseSiam dépasse les méthodes d’état de l’art de 2,1 mIoU, tout en réduisant les coûts d’entraînement de 28 %. Le code et les modèles sont disponibles à l’adresse suivante : https://github.com/ZwwWayne/DenseSiam.