Apprentissage non supervisé de représentations visuelles par k-moyennes en ligne sous contraintes

La discrimination de clusters est une tâche prétexte efficace pour l'apprentissage non supervisé de représentations, qui se compose généralement de deux phases : le clustering et la discrimination. Le clustering consiste à attribuer à chaque instance une étiquette fictive qui sera utilisée pour apprendre les représentations lors de la phase de discrimination. Le principal défi réside dans le clustering, car les méthodes de clustering courantes (par exemple, k-means) doivent être exécutées en mode batch. De plus, il peut y avoir une solution triviale composée d'un cluster dominant. Pour relever ces défis, nous examinons d'abord l'objectif de l'apprentissage de représentations basé sur le clustering. Sur cette base, nous proposons une nouvelle tâche prétexte basée sur le clustering avec k-means contraint en ligne (\textbf{CoKe}). Contrairement au clustering équilibré où chaque cluster a exactement la même taille, nous n'imposons que la taille minimale de chaque cluster afin de capturer de manière flexible la structure inhérente des données. Plus important encore, notre méthode d'attribution en ligne offre une garantie théorique pour approcher l'optimum global. En dissociant le clustering et la discrimination, CoKe peut atteindre des performances compétitives lorsqu'il est optimisé avec seulement une vue unique par instance. Des expériences exhaustives sur ImageNet et d'autres ensembles de données de référence vérifient à la fois l'efficacité et l'efficience de notre proposition. Le code est disponible à l'adresse \url{https://github.com/idstcv/CoKe}.