BatchFormer : Apprendre à explorer les relations entre échantillons pour un apprentissage de représentations robuste

Malgré le succès des réseaux de neurones profonds, de nombreux défis persistent dans l'apprentissage de représentations profondes en raison de problèmes liés à la rareté des données, tels que le déséquilibre des données, les distributions inconnues ou le décalage de domaine. Pour répondre à ces problèmes, diverses méthodes ont été proposées afin d'explorer les relations entre échantillons de manière naïve (c’est-à-dire à partir des perspectives de l’entrée ou de la fonction de perte), sans exploiter efficacement la structure interne des réseaux de neurones profonds pour apprendre à partir de ces relations échantillonnées. Inspirés par cette limitation, nous proposons de doter les réseaux de neurones profonds eux-mêmes de la capacité à apprendre les relations entre échantillons à partir de chaque mini-batch. Plus précisément, nous introduisons un module appelé Batch Transformer, ou BatchFormer, qui est intégré à la dimension des mini-batches afin d’explorer implicitement les relations entre échantillons pendant l’entraînement. Grâce à cette approche, la méthode proposée permet une collaboration entre différents échantillons : par exemple, les échantillons des classes dominantes peuvent contribuer à l’apprentissage des classes rares dans le cadre de la reconnaissance à distribution longue. En outre, afin de réduire l’écart entre l’entraînement et le test, nous partageons le classificateur entre les versions avec et sans BatchFormer pendant l’entraînement, permettant ainsi de l’éliminer facilement lors du test. Nous menons des expériences approfondies sur plus de dix jeux de données, et la méthode proposée obtient des améliorations significatives dans diverses applications affectées par la rareté des données, sans recourir à des ajouts complexes (« bells and whistles »), notamment pour les tâches de reconnaissance à distribution longue, l’apprentissage zéro-shot composé, la généralisation de domaine et l’apprentissage contrastif. Le code source sera rendu publiquement disponible à l’adresse suivante : https://github.com/zhihou7/BatchFormer.