Sélectionné Pour L'icml 2025, Meta/Cambridge/MIT a Proposé Le Cadre De Diffusion Tout-atome Transformer, Qui Réalise Pour La Première Fois La Génération Unifiée De Systèmes Atomiques Périodiques Et Non Périodiques
À la pointe de la recherche scientifique et des applications industrielles actuelles, la modélisation générative de la structure tridimensionnelle des systèmes atomiques présente un potentiel disruptif et devrait révolutionner le domaine de la conception inverse de nouvelles molécules et de nouveaux matériaux. De la prédiction structurale précise à la génération conditionnelle flexible, les modèles de diffusion et d'adaptation de flux les plus avancés ont émergé dans des tâches clés telles que l'analyse de biomolécules, la recherche et le développement de nouveaux matériaux et la conception de médicaments basée sur la structure, devenant ainsi l'outil essentiel des chercheurs pour surmonter les obstacles techniques.
Mais derrière ce domaine en plein essor,Un problème clé a toujours limité les avancées technologiques : les modèles existants manquent d’universalité inter-systèmes.Bien que tous les systèmes atomiques suivent les mêmes principes physiques pour déterminer leurs structures tridimensionnelles et leurs interactions, la modélisation des petites molécules, des biomolécules, des cristaux et de leurs systèmes composites a longtemps été soumise à une logique de « diviser pour mieux régner ». La plupart des modèles de diffusion dépendent fortement des caractéristiques intrinsèques d'un système spécifique et nécessitent une génération multimodale sur une variété produit complexe où les données catégorielles (comme le type d'atome) et les données continues (comme les coordonnées tridimensionnelles) sont imbriquées, ce qui rend les modèles entre différents systèmes difficiles à intégrer.
Prenons un scénario spécifique comme exemple : la génération de novo de petites molécules doit être divisée en deux processus de diffusion indépendants : le type atomique (classification) et les coordonnées tridimensionnelles (continues). Bien que le modèle de débruitage doive apprendre les lois de coévolution des deux, il réduit souvent l'efficacité de l'échantillonnage en raison de la distorsion de l'état intermédiaire ; la modélisation des molécules biologiques nécessite l'introduction supplémentaire de variétés en rotation et traite les groupes atomiques comme des corps rigides ; et le processus de diffusion des cristaux et des matériaux doit être compatible avec les caractéristiques périodiques et s'exécuter sur une variété conjointe composée de paramètres multidimensionnels tels que le type atomique, les coordonnées fractionnaires et les paramètres de réseau. Ces différences font de la modélisation unifiée inter-systèmes un défi de longue date non résolu dans le domaine.
Dans ce contexte,Une équipe de recherche conjointe de Meta Basic Artificial Intelligence Research (FAIR), de l'Université de Cambridge et du Massachusetts Institute of Technology a proposé une solution révolutionnaire : le transformateur de diffusion tout atome (ADiT).
En tant que cadre de diffusion latente unifié basé sur Transformer,Le principal avantage d'ADiT est qu'il brise la barrière de modélisation entre les systèmes périodiques et non périodiques. Grâce à deux innovations majeures, la représentation latente unifiée de tous les atomes et la diffusion latente par transformateur, il permet de générer des molécules et des cristaux à partir d'un modèle unique.Sa conception n'introduit quasiment aucun biais inductif, ce qui rend l'auto-encodeur et le modèle de diffusion bien plus efficaces que le modèle de diffusion équivariant traditionnel pour l'apprentissage et le raisonnement. Dans les mêmes conditions matérielles, le temps de génération de 10 000 échantillons passe de 2,5 heures à moins de 20 minutes. Plus important encore, lorsque les paramètres du modèle sont étendus à 500 millions, ses performances affichent une amélioration linéaire prévisible. Cette fonctionnalité constitue une base essentielle pour la construction d'un modèle fondamental universel de chimie générative, marquant une étape importante dans l'universalité et l'application à grande échelle de la modélisation des systèmes atomiques.
Les résultats de recherche associés ont été sélectionnés pour l'ICML 2025 sous le titre « Transformateurs de diffusion tout-atome : modélisation générative unifiée des molécules et des matériaux ».
Points saillants de la recherche :
* ADiT est le premier à unifier les modèles génératifs pour les matériaux périodiques et les systèmes moléculaires non périodiques
* ADiT s'appuie sur une représentation latente unifiée de tous les atomes et utilise Transformer pour la diffusion latente, ce qui simplifie efficacement le processus de génération et n'a presque aucune polarisation inductive
* ADiT présente une excellente évolutivité et efficacité, et ses vitesses d'entraînement et d'inférence dépassent de loin celles du modèle de diffusion équivariante
Adresse du document :
Autres articles sur les frontières de l'IA :
https://go.hyper.ai/owxf6
Ensemble de données : Du périodique au non périodique, couvrant des données expérimentales dans de multiples domaines
Dans cette étude, l’équipe de recherche a d’abord sélectionné plusieurs ensembles de données représentatifs pour mener des expériences :
* Ensemble de données MP20,Contient 45 231 structures cristallines métastables du projet Matériaux, avec un maximum de 20 atomes dans une cellule unitaire, couvrant 89 éléments différents, qui peuvent bien représenter des systèmes de matériaux périodiques ;
* Ensemble de données QM9,Il est composé de 130 000 petites molécules organiques stables, contenant jusqu'à 9 atomes lourds (C, N, O, F) et des atomes d'hydrogène, et est un représentant typique des systèmes moléculaires non périodiques ;
* Ensemble de données GEOM-DRUGS,Grosses molécules organiques contenant 430 000 atomes jusqu'à 180 ;
* Ensemble de données QMOF,Contient 14 000 structures métalliques-organiques.
dans,MP20 et QM9 correspondent à différents types de systèmes atomiques.Il fournit une base pour la formation conjointe du modèle sur les systèmes périodiques et non périodiques, et l'équipe de recherche a divisé les données selon la méthode de recherche précédente pour garantir l'équité par rapport aux autres modèles ; GEOM-DRUGS et QMOF élargissent encore la portée des tests du modèle et peuvent tester de manière plus complète la capacité de généralisation du modèle.
ADiT : Construire un modèle de génération de système atomique unifié basé sur des idées à double cœur
En tant que modèle de diffusion latente, la conception principale d'ADiT s'articule autour de deux idées clés pour parvenir à une modélisation générative unifiée des systèmes atomiques périodiques et non périodiques.
La première idée clé est la représentation latente unifiée de tous les atomes,L'équipe de recherche a considéré les systèmes atomiques périodiques et non périodiques comme un ensemble d'atomes dans un espace tridimensionnel, puis a développé une représentation unifiée incluant les attributs catégoriels de chaque atome (comme le type d'atome) et les attributs continus (comme les coordonnées tridimensionnelles). En entraînant un autoencodeur variationnel (VAE) pour la reconstruction atomique complète,L'encodeur est capable d'intégrer des molécules et des cristaux dans un espace latent partagé.Ceci fournit un cadre de base pour le traitement unifié de différents types de systèmes atomiques.
La deuxième idée clé est d’utiliser Transformer pour la diffusion latente.Dans l'espace latent construit par le codeur VAE, l'équipe de recherche a introduit le transformateur de diffusion (DiT) pour réaliser une modélisation générative. Au cours du processus d'inférence,Grâce à des techniques d’amorçage sans classificateur, de nouvelles variables latentes peuvent être échantillonnées.Ces variables latentes peuvent être reconstruites en molécules ou cristaux valides grâce au décodeur VAE, complétant ainsi la transformation de l'espace latent en système atomique réel.
Sur la base de ces deux idées fondamentales, la méthode expérimentale d’ADiT est divisée en deux étapes et se déroule de manière ordonnée.
Dans un premier temps, les chercheurs ont construit un autoencodeur pour la reconstruction.Grâce à la VAE, la représentation atomique complète des molécules et des matériaux est reconstruite conjointement pour apprendre et construire un espace latent partagé - c'est la condition préalable à la modélisation unifiée de différents systèmes atomiques et pose les bases du processus de génération ultérieur.
Dans la deuxième étape, les chercheurs ont construit un modèle génératif de diffusion latente.La technologie DiT permet de générer de nouveaux échantillons à partir de l'espace latent, qui sont ensuite déchiffrés en molécules ou cristaux valides sans l'aide d'un classificateur. L'avantage majeur de cette conception de diffusion latente réside dans le transfert de la complexité du traitement de la classification et des attributs continus à l'autoencodeur, ce qui simplifie et adapte le processus de génération dans l'espace latent, améliorant ainsi l'efficacité et l'adaptabilité du modèle lors du traitement de différents systèmes atomiques.
ADiT, leader des performances en matière de génération de cristaux et de molécules
Afin de mettre pleinement en évidence les avantages de performance d’ADiT, l’équipe de recherche a sélectionné plusieurs types de modèles de base pour une comparaison ciblée.Dans le domaine de la formation des cristaux,Les objets de comparaison incluent CDVAE, DiffCSP, FlowMM et d'autres modèles de diffusion équivariants et d'appariement de flux basés sur des variétés de produits multimodaux, ainsi que le modèle de diffusion non équivariant UniMat et le cadre en deux étapes FlowLLM ;Dans le domaine de la génération moléculaire,ADiT est comparé à d'autres modèles tels que le modèle de diffusion équivariante, GeoLDM et Symphony. Une comparaison systématique avec des modèles de référence avancés dans ces domaines démontre clairement les avantages en termes de performances d'ADiT.
D'après les résultats expérimentaux spécifiques,ADiT atteint des niveaux SOTA dans les tâches de génération de cristaux et de molécules.En termes de génération de cristaux, les cristaux générés par ADiT ont obtenu de bons résultats sur des critères clés tels que l'efficacité, la stabilité, l'unicité et la nouveauté. Dans la tâche de génération de molécules, ADiT s'est classé parmi les meilleurs en termes d'efficacité et d'unicité sur 10 000 molécules échantillonnées.
Le mécanisme d'entraînement conjoint d'ADiT apporte également des gains de performance significatifs. Les données expérimentales montrentADiT, formé sur les ensembles de données QM9 et MP20, surpasse la version formée sur un seul ensemble de données dans les tâches de génération de matériaux et de molécules.
L'augmentation de la taille du modèle est prévisible pour l'amélioration des performances d'ADiT. Comme le montre la figure ci-dessous, à mesure que le nombre de paramètres du débruiteur DiT passe de 32 millions (ADiT-S, bleu) à 130 millions (ADiT-B, orange), puis à 450 millions (ADiT-L, vert), même sur un ensemble de données de taille moyenne d'environ 130 000 échantillons, la perte d'apprentissage par diffusion continue de diminuer et le ratio d'efficacité augmente régulièrement, ce qui montre un effet d'échelle significatif. Cette forte corrélation entre la taille du modèle et les performances suggère qu'en augmentant les paramètres du modèle et le volume de données, on s'attend à ce que l'ADiT réalise de nouvelles avancées.
En termes d'efficacité, l'ADiT présente un avantage de vitesse significatif par rapport au modèle de diffusion équivariante.Comme le montre la figure ci-dessous, lors de la génération de 10 000 échantillons sur un GPU NVIDIA V100, l'ADiT standard basé sur Transformer offre une bien meilleure évolutivité en termes d'étapes d'intégration que FlowMM et GeoLDM, qui utilisent des réseaux équivariants gourmands en calcul. Bien que la taille des paramètres d'ADiT-B soit 100 fois supérieure à celle de la base équivariante, sa vitesse d'inférence reste supérieure, soulignant l'avantage de l'architecture Transformer en termes d'évolutivité.
De plus, l'évolutivité d'ADiT sur des systèmes plus vastes a été démontrée. Sur un jeu de données moléculaires GEOM-DRUGS contenant 430 000 molécules avec un maximum de 180 atomes,ADiT présente des performances comparables aux modèles de diffusion équivariante et de correspondance de flux de pointe en termes d'efficacité et de métriques PoseBusters.Il convient de noter qu'ADiT est basé sur l'architecture standard du transformateur, n'introduit presque aucun biais inductif moléculaire et ne nécessite pas de prédiction explicite des liaisons atomiques, mais peut atteindre des performances comparables à celles du modèle équivariant, démontrant ainsi davantage la polyvalence et la large applicabilité de sa conception.
L'industrie et la recherche favorisent conjointement l'innovation de rupture dans la génération de structures tridimensionnelles de systèmes atomiques
En fait, dans le domaine de recherche de pointe de la modélisation générative des structures tridimensionnelles des systèmes atomiques, le monde universitaire et le monde des affaires ont déployé des efforts inlassables et obtenu de nombreux résultats remarquables.
Dans le milieu universitaire,Une équipe de recherche de l'Université de Californie à Berkeley, de Microsoft Research et de Genentech a lancé une méthode de génération de protéines multimodales appelée PLAID.Cette méthode exploite intelligemment les informations structurelles des poids pré-entraînés pour effectuer des tâches de débruitage avec DiT, démontrant des performances supérieures par rapport aux autres méthodes de référence dans l'analyse de la qualité structurelle et de la diversité de différentes longueurs de protéines.
Le monde des affaires explore également activement ce domaine, favorisant le développement par l’innovation.BioGeo, société chinoise d'innovation en matière de conception de protéines d'IA générative, a publié GeoFlow V2, le premier modèle protéique complet au monde.Une architecture de modèle de diffusion atomique unifiée a été conçue pour réaliser d'un seul coup les tâches de prédiction et de conception de la structure des protéines. En matière de prédiction de la structure des anticorps et des complexes antigène-anticorps, GeoFlow V2 devance les produits similaires grâce à sa précision et sa rapidité exceptionnelles. Seedance 1.0, lancé par ByteDance, adopte une approche différente en utilisant une solution technique combinant auto-encodeurs variationnels et transformateurs de diffusion pour générer des vidéos IA rapides et efficaces. Cet avantage de vitesse ouvre de nouvelles perspectives pour la création en temps réel et les applications interactives, laissant entrevoir de vastes perspectives commerciales.
Ces avancées scientifiques dans le monde universitaire et les pratiques innovantes du monde des affaires favorisent conjointement le développement de la modélisation de la structure tridimensionnelle des systèmes atomiques. Grâce aux progrès technologiques constants, ce domaine jouera certainement un rôle croissant dans de nombreux domaines, tels que la recherche et le développement de nouveaux matériaux et la conception de médicaments, apportant ainsi un soutien solide à la résolution des problèmes scientifiques mondiaux et des défis industriels.
Articles de référence :
1.https://mp.weixin.qq.com/s/oF3-y7z8u1XpEtjd4q1u4w
2.https://mp.weixin.qq.com/s/tK0-