HyperAIHyperAI

Command Palette

Search for a command to run...

DiffAug : Améliorer l'apprentissage contrastif non supervisé grâce à une augmentation de données basée sur la diffusion et indépendante des connaissances de domaine

Zelin Zang Hao Luo Kai Wang Panpan Zhang Fan Wang Stan.Z Li Yang You

Résumé

L'apprentissage contrastif non supervisé a gagné en importance dans des domaines tels que la vision par ordinateur et la biologie, en exploitant des échantillons prédéfinis positifs et négatifs pour l'apprentissage de représentations. L'augmentation de données, classée en méthodes manuelles et basées sur des modèles, a été identifiée comme un composant crucial pour améliorer l'apprentissage contrastif. Toutefois, les méthodes manuelles nécessitent une expertise humaine spécifique au domaine, tout en pouvant parfois déformer le sens des données. En revanche, les approches basées sur des modèles génératifs exigent généralement des données supervisées ou de grande taille provenant de sources externes, ce qui constitue un goulot d'étranglement limitant l'entraînement des modèles dans de nombreux domaines. Pour répondre aux problèmes susmentionnés, ce papier propose DiffAug, une nouvelle technique d'apprentissage contrastif non supervisé reposant sur une génération de données positives basée sur un modèle de diffusion. DiffAug se compose d'un encodeur sémantique et d'un modèle de diffusion conditionnel ; ce dernier génère de nouveaux échantillons positifs conditionnellement à l'encodage sémantique, afin de soutenir l'entraînement de l'apprentissage contrastif non supervisé. Grâce à un entraînement itératif conjoint de l'encodeur sémantique et du modèle de diffusion, DiffAug améliore de manière continue et non supervisée la capacité de représentation du modèle. Des évaluations expérimentales montrent que DiffAug surpasse les méthodes d'augmentation manuelles ainsi que les approches basées sur des modèles les plus avancées (SOTA) sur des jeux de données de séquences d'ADN, visuels et de caractéristiques biologiques. Le code pour la revue est disponible à l'adresse suivante : \url{https://github.com/zangzelin/code_diffaug}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
DiffAug : Améliorer l'apprentissage contrastif non supervisé grâce à une augmentation de données basée sur la diffusion et indépendante des connaissances de domaine | Articles | HyperAI