Un seul Transformer peut comprendre à la fois les données moléculaires 2D et 3D

Contrairement aux données visuelles et linguistiques, qui présentent généralement un format unique, les molécules peuvent naturellement être décrites à l’aide de différentes formulations chimiques. On peut considérer une molécule comme un graphe en 2D ou comme une collection d’atomes disposés dans un espace en 3D. Dans le cadre de l’apprentissage de représentations moléculaires, la plupart des travaux antérieurs ont conçu des réseaux neuronaux spécifiquement adaptés à un format de données donné, ce qui rend les modèles appris susceptibles d’échouer lorsqu’ils sont appliqués à d’autres formats. Nous pensons qu’un modèle neuronal généraliste pour la chimie devrait être capable de traiter efficacement les tâches moléculaires indépendamment du mode de représentation des données. Pour atteindre cet objectif, dans ce travail, nous proposons un nouveau modèle moléculaire basé sur le Transformer, appelé Transformer-M, capable d’accepter comme entrée des données moléculaires sous forme 2D ou 3D et de générer des représentations sémantiques significatives. En s’appuyant sur l’architecture fondamentale du Transformer standard, Transformer-M met en œuvre deux canaux distincts pour encoder respectivement les informations structurales en 2D et en 3D, qu’il intègre ensuite aux caractéristiques atomiques au sein des modules du réseau. Lorsque les données d’entrée correspondent à un format particulier, le canal correspondant est activé tandis que l’autre est désactivé. En s’entraînant sur des données moléculaires 2D et 3D grâce à des signaux supervisés soigneusement conçus, Transformer-M apprend automatiquement à exploiter les connaissances provenant de différentes modalités de données et à capturer correctement les représentations pertinentes. Nous avons mené des expériences approfondies sur Transformer-M. Tous les résultats expérimentaux montrent que ce modèle parvient à atteindre des performances solides simultanément sur des tâches 2D et 3D, ce qui témoigne de sa grande adaptabilité. Le code et les modèles seront rendus accessibles au public à l’adresse suivante : https://github.com/lsj2408/Transformer-M.