Résolution de l'inefficacité de l'apprentissage par représentation auto-supervisée

L'apprentissage auto-supervisé (en particulier l'apprentissage par contraste) a suscité un grand intérêt en raison de son potentiel considérable pour apprendre des représentations discriminantes de manière non supervisée. Malgré les succès reconnus, les méthodes d'apprentissage par contraste existantes souffrent d'une très faible efficacité d'apprentissage, par exemple, elles nécessitent environ dix fois plus d'époques d'entraînement que l'apprentissage supervisé pour atteindre une précision de reconnaissance comparable. Dans cet article, nous mettons en lumière deux phénomènes contradictoires dans l'apprentissage par contraste que nous appelons problèmes de sous-clustering et de sur-clustering, qui constituent des obstacles majeurs à l'efficacité d'apprentissage. Le sous-clustering signifie que le modèle ne peut pas apprendre efficacement à découvrir la dissimilarité entre les échantillons inter-classes lorsque les paires d'échantillons négatifs pour l'apprentissage par contraste sont insuffisantes pour différencier toutes les classes d'objets réelles. Le sur-clustering implique que le modèle ne peut pas apprendre efficacement des caractéristiques à partir de paires d'échantillons négatifs excessives, ce qui force le modèle à sur-clusteriser des échantillons de la même classe réelle dans différentes clusters. Pour surmonter simultanément ces deux problèmes, nous proposons un nouveau cadre d'apprentissage auto-supervisé utilisant une perte triplet tronquée. Précisément, nous utilisons une perte triplet visant à maximiser la distance relative entre la paire positive et les paires négatives pour résoudre le problème de sous-clustering ; et nous construisons la paire négative en sélectionnant un échantillon délégué négatif parmi tous les échantillons négatifs pour éviter le problème de sur-clustering, garantie par le modèle de distribution de Bernoulli. Nous évaluons notre cadre de manière extensive dans plusieurs benchmarks à grande échelle (par exemple, ImageNet, SYSU-30k et COCO). Les résultats montrent clairement la supériorité de notre modèle (par exemple, en termes d'efficacité d'apprentissage) par rapport aux méthodes les plus récentes et avancées. Le code est disponible à : https://github.com/wanggrun/triplet .