Yuyang Wang Jiarui Lu Navdeep Jaitly Josh Susskind Miguel Angel Bautista

Résumé

Les modèles de repliement des protéines ont atteint des résultats révolutionnaires, généralement grâce à une combinaison d’intégration de connaissances spécifiques au domaine dans les blocs architecturaux et les chaînes d’entraînement. Toutefois, compte tenu du succès des modèles génératifs sur divers problèmes apparentés, il est naturel de se demander si ces architectures spécifiques sont effectivement nécessaires pour construire des modèles performants. Dans cet article, nous présentons SimpleFold, le premier modèle de repliement des protéines fondé sur le matching de flux, qui utilise uniquement des blocs transformeurs à usage général. Les modèles traditionnels de repliement reposent souvent sur des modules coûteux en calcul, impliquant des mises à jour triangulaires, des représentations explicites des paires ou plusieurs objectifs d’entraînement spécifiquement conçus pour ce domaine. En revanche, SimpleFold repose sur des blocs transformeurs standards avec couches adaptatives, et est entraîné via une objectif génératif de matching de flux, complété par un terme structural supplémentaire. Nous avons échelonné SimpleFold à 3 milliards de paramètres et l’avons entraîné sur environ 9 millions de structures protéiques distillées, combinées à des données expérimentales provenant de la base PDB. Sur des benchmarks standards de repliement, SimpleFold-3B atteint des performances compétitives par rapport aux meilleures solutions actuelles ; en outre, SimpleFold montre une excellente performance dans les prédictions en ensemble, un domaine généralement difficile pour les modèles entraînés selon des objectifs déterministes de reconstruction. Grâce à son architecture à usage général, SimpleFold se distingue par son efficacité en déploiement et en inférence sur des matériels de niveau grand public. SimpleFold remet en question la dépendance aux architectures complexes et spécifiques au domaine dans le repliement des protéines, ouvrant ainsi un nouvel espace de conception pour les progrès futurs.