ViCE : Amélioration de l'apprentissage des représentations denses par superpixelisation et affectation contrastée de clusters

Les modèles d'auto-supervision récents ont démontré des performances équivalentes ou supérieures à celles des méthodes supervisées, permettant aux systèmes d'IA d'apprendre des représentations visuelles à partir de données pratiquement illimitées. Cependant, ces méthodes sont généralement basées sur la classification et sont donc inefficaces pour apprendre des cartes de caractéristiques à haute résolution qui préservent les informations spatiales précises. Cette étude introduit les superpixels pour améliorer l'apprentissage auto-supervisé d'embeddings visuels denses et sémantiquement riches. La décomposition des images en un petit nombre de régions visuellement cohérentes réduit la complexité computationnelle de $\mathcal{O}(1000)$ tout en conservant les détails. Nous montrons expérimentalement que le contraste entre régions améliore l'efficacité des méthodes d'apprentissage par contraste, étend leur applicabilité aux images à haute résolution, améliore les performances de sursegmentation, et que les superpixels sont meilleurs que les grilles (grids), tandis que le masquage régional augmente également les performances. L'expressivité de nos embeddings denses est démontrée par une amélioration du meilleur niveau actuel (SOTA) dans le domaine de la segmentation sémantique non supervisée sur Cityscapes, ainsi que pour les modèles convolutifs sur COCO.