Yuyang Wang Jiarui Lu Navdeep Jaitly Josh Susskind Miguel Angel Bautista

Abstract

Proteinfaltungsmodelle haben bisher bahnbrechende Ergebnisse erzielt, meist durch eine Kombination aus der Integration fachspezifischen Wissens in architektonische Bausteine und Trainingspipelines. Dennoch ist es naheliegend, sich zu fragen, ob diese architektonischen Entwürfe eine notwendige Voraussetzung für leistungsstarke Modelle sind, angesichts des Erfolgs generativer Modelle bei verschiedenen, aber verwandten Aufgaben. In diesem Artikel stellen wir SimpleFold vor, das erste auf Fluss-Matching basierende Proteinfaltungsmuster, das ausschließlich allgemein verwendbare Transformer-Blöcke nutzt. Typischerweise setzen Proteinfaltungsmuster rechenintensive Module ein, die trianguläre Aktualisierungen, explizite Paarrepräsentationen oder mehrere, für diesen spezifischen Bereich zugeschnittene Trainingsziele beinhalten. Im Gegensatz dazu verwendet SimpleFold standardisierte Transformer-Blöcke mit adaptiven Schichten und wird über ein generatives Fluss-Matching-Ziel mit einem zusätzlichen strukturellen Term trainiert. Wir skalieren SimpleFold auf 3 Milliarden Parameter und trainieren es anhand von etwa 9 Millionen verfeinerten Proteinstukturen sowie experimentellen PDB-Daten. Auf etablierten Faltungsbenchmarks erreicht SimpleFold-3B eine konkurrenzfähige Leistung im Vergleich zu aktuellen State-of-the-Art-Baselines. Zudem zeigt SimpleFold eine herausragende Leistung bei Ensemble-Vorhersagen, was für Modelle, die über deterministische Rekonstruktionsziele trainiert wurden, typischerweise eine Herausforderung darstellt. Aufgrund seiner allgemein verwendbaren Architektur zeichnet sich SimpleFold durch hohe Effizienz bei der Bereitstellung und Inferenz auf Hardware für den Endverbraucher aus. SimpleFold stellt die Abhängigkeit von komplexen, domain-spezifischen Architekturdesigns bei der Proteinfaltung in Frage und eröffnet einen alternativen Gestaltungsraum für zukünftige Fortschritte.