PFArena : les modèles IA peinent à modifier les protéines

Le Laboratoire d'intelligence artificielle de Shanghai, l'Institut de recherche en intelligence industrielle et la Faculté de pharmacie de l'université Tsinghua ont présenté PFArena, un banc d'essai dédié à la modification des protéines par les modèles d'intelligence artificielle. Construit sur 202 expériences réelles et plus de 600 000 séquences candidates, il confronte six modèles spécialisés dans le langage des protéines, six grands modèles généralistes et cinq agents scientifiques. Il évalue la capacité à proposer, classer et améliorer des mutations dans un contexte proche d'un laboratoire, avec des contraintes de budget expérimental et des retours de tests. L'objectif est de dépasser la simple prédiction de l'effet d'une mutation pour mesurer une compétence plus difficile: comprendre l'information expérimentale et décider quelles variantes créer en priorité. Les résultats sont nuancés et globalement sévères pour les grands modèles. Même les meilleurs systèmes, quand ils ne proposent que 40 mutants, ne trouvent en moyenne que moins de deux changements très performants. À mesure que la complexité des combinaisons de mutations augmente, la précision des modèles baisse et les écarts entre approches se resserrent. Cette limite est importante car la conception de protéines utiles dépend souvent de plusieurs mutations coordonnées, dont les effets ne s'additionnent pas simplement. Le test montre toutefois une complémentarité claire. En l'absence de données expérimentales spécifiques à la protéine visée, les modèles spécialisés dans le langage des protéines s'avèrent généralement meilleurs pour repérer des mutants prometteurs, car ils intègrent des connaissances sur les séquences, les structures et l'évolution. Quand des mesures de laboratoire sont disponibles, les grands modèles généralistes et les agents scientifiques progressent davantage, car ils utilisent mieux l'information existante pour raisonner, comparer des hypothèses et orienter les essais suivants. L'une des leçons les plus utiles concerne les itérations. Plutôt que de demander une réponse unique, laisser un modèle ajuster ses choix après chaque série de résultats améliore les performances. Dans le test, un modèle testé, GPT-6 Astra, a vu son taux de détection des bons mutants passer de 2,54 % à 4,65 % grâce à des retours successifs. Pour l'ingénierie des protéines, cette approche par essai, sélection et apprentissage semble donc plus prometteuse que la génération directe d'une solution finale. Ces travaux confortent l'idée défendue par Zhou Bowen, directeur du laboratoire: l'intelligence artificielle devient très performante dans des domaines structurés comme la programmation, mais progresse plus lentement dans la science expérimentale. La solution proposée tient en une fusion du général et du spécialisé. Les modèles protéiques apportent des connaissances biologiques fines, les grands modèles apportent le raisonnement et la lecture de données, et des outils intermédiaires leur permettent de dialoguer avec des analyses spécialisées. Le projet AMixKit, associé au modèle AMix-2.1 du laboratoire, illustre cette voie en offrant un cadre plus léger pour combiner ces capacités. Au-delà du bilan, les auteurs dessinent trois pistes pour les prochaines générations d'IA scientifiques: mieux appréhender les relations complexes entre mutations, concevoir des boucles d'optimisation fondées sur des expérimentations réelles, et construire des systèmes capables de formuler des hypothèses, de choisir les tests les plus utiles puis de corriger leur stratégie. PFArena devrait ainsi servir de référence pour évaluer non seulement si un modèle connaît les protéines, mais aussi s'il peut réellement devenir un partenaire d'exploration en laboratoire.