Transformateur de graphe auto-supervisé sur des données moléculaires à grande échelle

Obtenir des représentations informatives des molécules constitue un prérequis essentiel dans la conception et la découverte de médicaments pilotées par l’intelligence artificielle. Des recherches récentes modélisent les molécules sous forme de graphes et emploient les Réseaux de Neurones sur Graphes (GNNs) pour l’apprentissage des représentations moléculaires. Toutefois, deux problèmes entravent l’usage des GNNs dans des scénarios réels : (1) le manque de molécules étiquetées pour l’entraînement supervisé ; (2) une capacité de généralisation insuffisante face à de nouvelles molécules synthétisées. Pour surmonter ces deux limitations, nous proposons un cadre novateur, GROVER, qui signifie Graph Representation frOm self-superVised mEssage passing tRansformer. Grâce à des tâches de self-supervision soigneusement conçues aux niveaux nœud, arête et graphe, GROVER parvient à extraire des informations riches sur la structure et le sens des molécules à partir d’énormes volumes de données moléculaires non étiquetées. Pour encoder efficacement ces informations complexes, GROVER intègre les réseaux de passage de messages (Message Passing Networks) dans une architecture inspirée du Transformer, offrant ainsi une classe de encodeurs moléculaires plus expressifs. La flexibilité de GROVER permet son entraînement efficace sur de grands ensembles de données moléculaires sans nécessiter d’étiquetage, le rendant ainsi immunisé contre les deux problèmes mentionnés. Nous pré-entraînons GROVER avec 100 millions de paramètres sur 10 millions de molécules non étiquetées — le plus grand GNN et le plus grand jeu de données d’entraînement jamais utilisés dans l’apprentissage des représentations moléculaires. Ensuite, nous utilisons le modèle pré-entraîné GROVER pour la prédiction des propriétés moléculaires, suivie d’un ajustement fin spécifique à la tâche, observant ainsi une amélioration considérable (supérieure à 6 % en moyenne) par rapport aux méthodes de pointe actuelles sur 11 benchmarks exigeants. Les insights tirés montrent que des pertes de self-supervision bien conçues, combinées à des modèles pré-entraînés hautement expressifs, offrent un potentiel significatif pour améliorer les performances.