Meta/Cambridge/MIT Wurde Für ICML 2025 Ausgewählt Und Schlug Das All-Atom-Diffusion-Transformer-Framework Vor, Das Erstmals Die Einheitliche Erzeugung Periodischer Und Nichtperiodischer Atomsysteme Realisiert.
Die generative Modellierung der dreidimensionalen Struktur atomarer Systeme steht an der Spitze der heutigen wissenschaftlichen Forschung und industriellen Anwendung und zeigt bahnbrechendes Potenzial. Sie dürfte die Landschaft des Reverse Designs neuer Moleküle und Materialien grundlegend verändern. Von der präzisen Strukturvorhersage bis zur flexiblen bedingten Generierung haben sich die fortschrittlichsten Diffusions- und Flussanpassungsmodelle für Schlüsselaufgaben wie die Biomolekülanalyse, die Forschung und Entwicklung neuer Materialien sowie das strukturbasierte Arzneimitteldesign etabliert und sind zum zentralen Werkzeug für Forscher geworden, um technische Engpässe zu überwinden.
Doch hinter diesem boomenden Feld,Ein zentrales Problem hat technologische Sprünge schon immer gehemmt: Den bestehenden Modellen fehlt es an systemübergreifender Universalität.Obwohl alle Atomsysteme denselben physikalischen Prinzipien zur Bestimmung ihrer dreidimensionalen Strukturen und Wechselwirkungen folgen, befindet sich die Modellierung kleiner Moleküle, Biomoleküle, Kristalle und ihrer Verbundsysteme seit langem in einem Zustand des „Teile und herrsche“. Die meisten Diffusionsmodelle hängen stark von den inhärenten Eigenschaften eines bestimmten Systems ab und erfordern eine multimodale Generierung auf einer komplexen Produktmannigfaltigkeit, in der kategorische Daten (wie Atomtyp) und kontinuierliche Daten (wie dreidimensionale Koordinaten) miteinander verflochten sind, was die Kompatibilität von Modellen zwischen verschiedenen Systemen erschwert.
Nehmen wir als Beispiel ein konkretes Szenario: Die De-novo-Erzeugung kleiner Moleküle muss in zwei unabhängige Diffusionsprozesse aufgeteilt werden: Atomtyp (Klassifizierung) und dreidimensionale Koordinaten (kontinuierlich). Obwohl das Rauschunterdrückungsmodell die Koevolutionsgesetze der beiden erlernen muss, reduziert es häufig die Stichprobeneffizienz aufgrund der Verzerrung des Zwischenzustands. Die Modellierung biologischer Moleküle erfordert die zusätzliche Einführung rotierender Mannigfaltigkeiten und behandelt die Atomgruppen als starre Körper. Und der Diffusionsprozess von Kristallen und Materialien muss mit periodischen Eigenschaften kompatibel sein und auf einer gemeinsamen Mannigfaltigkeit laufen, die aus mehrdimensionalen Parametern wie Atomtyp, fraktionalen Koordinaten und Gitterparametern besteht. Diese Unterschiede machen die systemübergreifende einheitliche Modellierung zu einer seit langem ungelösten Herausforderung in diesem Bereich.
In diesem ZusammenhangEin gemeinsames Forschungsteam von Meta Basic Artificial Intelligence Research (FAIR), der University of Cambridge und dem Massachusetts Institute of Technology hat eine bahnbrechende Lösung vorgeschlagen: den All-atom Diffusion Transformer (ADiT).
Als einheitliches latentes Diffusionsframework basierend auf Transformer,Der Hauptvorteil von ADiT besteht darin, dass es die Modellierungsbarriere zwischen periodischen und nichtperiodischen Systemen durchbricht. Durch zwei wichtige Innovationen – die einheitliche latente Darstellung aller Atome und die latente Diffusion von Transformatoren – ermöglicht es die Erzeugung von Molekülen und Kristallen mit einem einzigen Modell.Sein Design führt nahezu keine induktive Verzerrung ein, wodurch das Autoencoder- und Diffusionsmodell in Training und Argumentation deutlich effizienter ist als das traditionelle äquivariante Diffusionsmodell – unter gleichen Hardwarebedingungen reduziert sich die Zeit zur Generierung von 10.000 Proben von 2,5 Stunden auf weniger als 20 Minuten. Noch wichtiger ist, dass sich die Leistung bei einer Erweiterung der Modellparameter auf 500 Millionen vorhersehbar linear verbessert. Diese Eigenschaft legt einen wichtigen Grundstein für den Aufbau eines universellen Basismodells der generativen Chemie und markiert einen Meilenstein in der Universalität und großflächigen Anwendung der Atomsystemmodellierung.
Die entsprechenden Forschungsergebnisse wurden für ICML 2025 unter dem Titel „All-atom Diffusion Transformers: Unified generative modelling of molecules and materials“ ausgewählt.
Forschungshighlights:
* ADiT ist das erste Unternehmen, das die generativen Modelle für periodische Materialien und nichtperiodische molekulare Systeme vereinheitlicht
* ADiT basiert auf einer einheitlichen latenten Darstellung aller Atome und verwendet Transformer für die latente Diffusion, was den Generierungsprozess effektiv vereinfacht und fast keine induktive Vorspannung aufweist
* ADiT verfügt über eine hervorragende Skalierbarkeit und Effizienz, und seine Trainings- und Inferenzgeschwindigkeiten übertreffen die des äquivarianten Diffusionsmodells bei weitem
Papieradresse:
Weitere Artikel zu den Grenzen der KI:
https://go.hyper.ai/owxf6
Datensatz: Von periodisch bis nichtperiodisch, deckt experimentelle Daten in mehreren Bereichen ab
In dieser Studie wählte das Forschungsteam zunächst mehrere repräsentative Datensätze aus, um Experimente durchzuführen:
* MP20-Datensatz,Enthält 45.231 metastabile Kristallstrukturen aus dem Materials Project mit maximal 20 Atomen in einer Elementarzelle, die 89 verschiedene Elemente abdecken und periodische Materialsysteme gut darstellen können;
* QM9-Datensatz,Es besteht aus 130.000 stabilen kleinen organischen Molekülen, die bis zu 9 schwere Atome (C, N, O, F) und Wasserstoffatome enthalten, und ist ein typischer Vertreter nichtperiodischer Molekülsysteme.
* GEOM-DRUGS-Datensatz,Große organische Moleküle mit 430.000 Atomen von bis zu 180;
* QMOF-Datensatz,Enthält 14.000 metallorganische Gerüststrukturen.
In,MP20 und QM9 entsprechen unterschiedlichen Arten von Atomsystemen.Es bietet eine Grundlage für das gemeinsame Training des Modells an periodischen und nichtperiodischen Systemen, und das Forschungsteam hat die Daten entsprechend der Methode früherer Forschungen aufgeteilt, um Fairness im Vergleich mit anderen Modellen zu gewährleisten; GEOM-DRUGS und QMOF erweitern den Umfang der Modelltests weiter und können die Generalisierungsfähigkeit des Modells umfassender testen.
ADiT: Aufbau eines einheitlichen Atomsystem-Generierungsmodells basierend auf Dual-Core-Ideen
Als latentes Diffusionsmodell dreht sich das Kerndesign von ADiT um zwei Schlüsselideen, um eine einheitliche generative Modellierung periodischer und nichtperiodischer Atomsysteme zu erreichen.
Die erste Schlüsselidee ist die einheitliche latente Darstellung aller Atome.Das Forschungsteam betrachtete sowohl periodische als auch nichtperiodische Atomsysteme als eine Ansammlung von Atomen im dreidimensionalen Raum und entwickelte anschließend eine einheitliche Darstellung, die die kategorischen Eigenschaften jedes Atoms (wie den Atomtyp) und die kontinuierlichen Eigenschaften (wie die dreidimensionalen Koordinaten) umfasst. Durch das Training eines Variational Autoencoders (VAE) für die vollständige AtomrekonstruktionDer Encoder ist in der Lage, Moleküle und Kristalle in einen gemeinsamen latenten Raum einzubetten.Dies bietet einen grundlegenden Rahmen für die einheitliche Behandlung verschiedener Arten von Atomsystemen.
Die zweite Schlüsselidee besteht darin, Transformer für die latente Diffusion zu verwenden.Im latenten Raum, der vom VAE-Encoder erstellt wurde, führte das Forschungsteam den Diffusion Transformer (DiT) ein, um generative Modellierung durchzuführen. Während des InferenzprozessesMithilfe klassifikatorfreier Bootstrapping-Techniken können neue latente Variablen erprobt werden.Diese latenten Variablen können durch den VAE-Decoder in gültige Moleküle oder Kristalle rekonstruiert werden, wodurch die Transformation vom latenten Raum zum tatsächlichen atomaren System abgeschlossen wird.
Basierend auf diesen beiden Kernideen ist die experimentelle Methode von ADiT in zwei Phasen unterteilt und verläuft geordnet.
Im ersten Schritt bauten die Forscher einen Autoencoder zur Rekonstruktion.Durch VAE wird die vollständige atomare Darstellung von Molekülen und Materialien gemeinsam rekonstruiert, um einen gemeinsamen latenten Raum zu erlernen und zu konstruieren – dies ist die Voraussetzung für eine einheitliche Modellierung verschiedener atomarer Systeme und legt den Grundstein für den nachfolgenden Generierungsprozess.
In der zweiten Phase konstruierten die Forscher ein generatives Modell zur latenten Diffusion.DiT wird verwendet, um neue Proben aus dem latenten Raum zu generieren, die ohne Klassifikatorführung in gültige Moleküle oder Kristalle dekodiert werden. Der wesentliche Vorteil dieses latenten Diffusionsdesigns besteht darin, dass die Komplexität der Verarbeitung von Klassifizierung und kontinuierlichen Attributen auf den Autoencoder übertragen wird. Dadurch wird der Generierungsprozess im latenten Raum einfacher und skalierbarer, was die Effizienz und Anpassungsfähigkeit des Modells bei der Verarbeitung verschiedener atomarer Systeme effektiv verbessert.
ADiT – Spitzenleistung in der Kristall- und Molekülerzeugung
Um die Leistungsvorteile von ADiT voll hervorzuheben, wählte das Forschungsteam mehrere Arten von Basismodellen für einen gezielten Vergleich aus.Im Bereich der KristallbildungZu den Vergleichsobjekten gehören CDVAE, DiffCSP, FlowMM und andere äquivariante Diffusions- und Flow-Matching-Modelle basierend auf multimodalen Produktmannigfaltigkeiten sowie das nicht-äquivariante Diffusionsmodell UniMat und das zweistufige Framework FlowLLM;Im Bereich der MolekülerzeugungADiT wird mit anderen Modellen wie dem Äquivarianten Diffusionsmodell, GeoLDM und Symphony verglichen. Durch den systematischen Vergleich mit fortgeschrittenen Basismodellen in diesen Bereichen werden die Leistungsvorteile von ADiT deutlich aufgezeigt.
Aus den spezifischen experimentellen ErgebnissenADiT erreicht SOTA-Niveaus sowohl bei der Kristall- als auch bei der Molekülerzeugung.Bei der Kristallerzeugung schnitten die mit ADiT erzeugten Kristalle in Schlüsselkriterien wie Effektivität, Stabilität, Einzigartigkeit und Neuartigkeit gut ab. Bei der Molekülerzeugung erreichte ADiT hinsichtlich Effektivität und Einzigartigkeit unter 10.000 untersuchten Molekülen eine Spitzenposition.
Der Gelenktrainingsmechanismus von ADiT bringt auch signifikante Leistungssteigerungen. Experimentelle Daten zeigenADiT, das sowohl mit den Datensätzen QM9 als auch MP20 trainiert wurde, übertrifft die Version, die mit nur einem Datensatz trainiert wurde, sowohl bei der Material- als auch bei der Molekülgenerierung.
Die Erweiterung der Modellgröße führt voraussichtlich zu einer Leistungssteigerung von ADiT. Wie die folgende Abbildung zeigt, nimmt der Diffusionstrainingsverlust kontinuierlich ab, während die Anzahl der DiT-Denoiser-Parameter von 32 Millionen (ADiT-S, blau) auf 130 Millionen (ADiT-B, orange) und schließlich auf 450 Millionen (ADiT-L, grün) steigt. Dies gilt selbst bei einem mittelgroßen Datensatz mit etwa 130.000 Stichproben. Die Effektivitätsrate steigt stetig an, was einen signifikanten Skaleneffekt zeigt. Diese starke Korrelation zwischen Modellgröße und Leistung lässt darauf schließen, dass die Erweiterung der Modellparameter und des Datenvolumens ADiT voraussichtlich weitere Durchbrüche ermöglichen wird.
In Bezug auf die Effizienz zeigt ADiT einen erheblichen Geschwindigkeitsvorteil gegenüber dem äquivarianten Diffusionsmodell.Wie die folgende Abbildung zeigt, skaliert das standardmäßige Transformer-basierte ADiT bei der Generierung von 10.000 Samples auf einer NVIDIA V100 GPU hinsichtlich der Integrationsschritte deutlich besser als FlowMM und GeoLDM, die rechenintensive äquivariante Netzwerke verwenden. Obwohl ADiT-B eine 100-mal größere Parametergröße als die äquivariante Basislinie aufweist, ist seine Inferenzgeschwindigkeit dennoch höher, was den Vorteil der Transformer-Architektur in Bezug auf die Skalierbarkeit unterstreicht.
Darüber hinaus wurde die Skalierbarkeit von ADiT auf größeren Systemen demonstriert. Auf einem GEOM-DRUGS-Moleküldatensatz mit 430.000 Molekülen mit maximal 180 Atomen,ADiT ist hinsichtlich Effektivität und PoseBusters-Metriken mit modernsten äquivarianten Diffusions- und Flow-Matching-Modellen vergleichbar.Es ist erwähnenswert, dass ADiT auf der Standard-Transformer-Architektur basiert, fast keine molekulare induktive Vorspannung einführt und keine explizite Vorhersage von Atombindungen erfordert, aber eine Leistung erreichen kann, die mit der des äquivarianten Modells vergleichbar ist, was die Vielseitigkeit und breite Anwendbarkeit seines Designs weiter demonstriert.
Industrie und Forschung fördern gemeinsam bahnbrechende Innovationen bei der Erzeugung dreidimensionaler Strukturen atomarer Systeme
Tatsächlich haben die Wissenschaft und die Wirtschaft im hochmodernen Forschungsfeld der generativen Modellierung dreidimensionaler Strukturen atomarer Systeme unermüdliche Anstrengungen unternommen und viele bemerkenswerte Ergebnisse erzielt.
In der WissenschaftEin Forschungsteam der University of California, Berkeley, Microsoft Research und Genentech hat eine multimodale Methode zur Proteingenerierung namens PLAID auf den Markt gebracht.Diese Methode nutzt geschickt die Strukturinformationen in vortrainierten Gewichten, um Rauschunterdrückungsaufgaben mit DiT durchzuführen, und zeigt im Vergleich zu anderen Benchmark-Methoden eine bessere Leistung bei der Analyse der Strukturqualität und -diversität unterschiedlicher Proteinlängen.
Auch die Geschäftswelt erforscht dieses Feld aktiv und treibt die Entwicklung durch Innovationen voran.BioGeo, Chinas Innovationsunternehmen für generatives KI-Proteindesign, hat GeoFlow V2 herausgebracht, das weltweit erste umfassende proteinbasierte Modell.Eine einheitliche Architektur für atomare Diffusionsmodelle wurde entwickelt, um die Aufgaben der Proteinstrukturvorhersage und des Proteindesigns in einem Rutsch zu bewältigen. Bei der Vorhersage von Antikörper- und Antigen-Antikörper-Komplexstrukturen ist GeoFlow V2 ähnlichen Produkten mit seiner außergewöhnlichen Genauigkeit und Geschwindigkeit voraus. Seedance 1.0 von ByteDance verfolgt einen anderen Ansatz und nutzt eine technische Lösung, die Variational Autoencoder und Diffusion Transformers kombiniert, um eine schnelle und effiziente KI-Videogenerierung zu ermöglichen. Sein Geschwindigkeitsvorteil eröffnet neue Möglichkeiten für die Echtzeiterstellung und interaktive Anwendungen und verspricht breites Potenzial im Bereich kommerzieller Anwendungen.
Diese wissenschaftlichen Durchbrüche in der Wissenschaft und innovative Praktiken in der Wirtschaft fördern gemeinsam die Entwicklung des Bereichs der Modellierung dreidimensionaler Atomstrukturen. Mit dem kontinuierlichen technologischen Fortschritt wird dieser Bereich sicherlich in vielen Bereichen, wie der Forschung und Entwicklung neuer Materialien und der Arzneimittelentwicklung, eine größere Rolle spielen und einen wichtigen Beitrag zur Lösung globaler wissenschaftlicher Probleme und industrieller Herausforderungen leisten.
Referenzartikel:
1.https://mp.weixin.qq.com/s/oF3-y7z8u1XpEtjd4q1u4w
2.https://mp.weixin.qq.com/s/tK0-