Autoencodeurs masqués auto-guidés pour l'apprentissage semi-supervisé indépendant du domaine

L’apprentissage auto-supervisé excelle dans l’apprentissage de représentations à partir de grandes quantités de données non étiquetées, démontrant un succès remarquable sur plusieurs modalités de données. Toutefois, son extension à de nouvelles modalités n’est pas aisée, car les méthodes existantes sont spécifiquement conçues pour chaque domaine, notamment par l’intermédiaire d’augmentations spécifiques à chaque domaine, reflétant les invariances propres à la tâche cible. Bien que le modèle masqué apparaisse prometteur comme cadre généralisable à toutes les modalités pour l’apprentissage auto-supervisé — puisqu’il ne repose pas sur des augmentations d’entrée — son procédé d’échantillonnage des masques reste lui aussi spécifique au domaine. Nous proposons SMA (Self-guided Masked Autoencoders), une méthode entièrement généralisable à tous les domaines basée sur le modèle masqué. SMA entraîne un modèle fondé sur l’attention à l’aide d’un objectif de modélisation masquée, en apprenant à échantillonner les masques sans aucune hypothèse spécifique au domaine. Nous évaluons SMA sur trois benchmarks d’apprentissage auto-supervisé dans les domaines de la biologie des protéines, de la prédiction de propriétés chimiques et de la physique des particules. Nos résultats montrent que SMA est capable d’apprendre des représentations sans recourir à des connaissances spécifiques au domaine, tout en atteignant des performances de pointe sur ces trois benchmarks.