DiffAug : Améliorer l'apprentissage contrastif non supervisé grâce à une augmentation de données basée sur la diffusion et indépendante des connaissances de domaine

L'apprentissage contrastif non supervisé a gagné en importance dans des domaines tels que la vision par ordinateur et la biologie, en exploitant des échantillons prédéfinis positifs et négatifs pour l'apprentissage de représentations. L'augmentation de données, classée en méthodes manuelles et basées sur des modèles, a été identifiée comme un composant crucial pour améliorer l'apprentissage contrastif. Toutefois, les méthodes manuelles nécessitent une expertise humaine spécifique au domaine, tout en pouvant parfois déformer le sens des données. En revanche, les approches basées sur des modèles génératifs exigent généralement des données supervisées ou de grande taille provenant de sources externes, ce qui constitue un goulot d'étranglement limitant l'entraînement des modèles dans de nombreux domaines. Pour répondre aux problèmes susmentionnés, ce papier propose DiffAug, une nouvelle technique d'apprentissage contrastif non supervisé reposant sur une génération de données positives basée sur un modèle de diffusion. DiffAug se compose d'un encodeur sémantique et d'un modèle de diffusion conditionnel ; ce dernier génère de nouveaux échantillons positifs conditionnellement à l'encodage sémantique, afin de soutenir l'entraînement de l'apprentissage contrastif non supervisé. Grâce à un entraînement itératif conjoint de l'encodeur sémantique et du modèle de diffusion, DiffAug améliore de manière continue et non supervisée la capacité de représentation du modèle. Des évaluations expérimentales montrent que DiffAug surpasse les méthodes d'augmentation manuelles ainsi que les approches basées sur des modèles les plus avancées (SOTA) sur des jeux de données de séquences d'ADN, visuels et de caractéristiques biologiques. Le code pour la revue est disponible à l'adresse suivante : \url{https://github.com/zangzelin/code_diffaug}.