KI-Modelle scheitern am Protein-Design, Hybridmodell nötig
Das Shanghai-KI-Labor, das AIR-Institut der Tsinghua-Universität und die Fakultät für Pharmazeutische Wissenschaften der Tsinghua-Universität haben den Referenztest PFArena vorgestellt, um die Fähigkeit großer Modelle beim Umbau von Proteinen realistisch zu messen. Der Test basiert auf 202 realen Proteinexperimenten mit mehr als 600 000 Kandidatendatensätzen und prüft Protein-Sprachmodelle, allgemeine Großmodelle sowie wissenschaftliche Agentensysteme in Aufgaben von der reinen Sequenzkenntnis bis zur nutzbaren Experimentplanung. Berücksichtigt werden Stabilität, Bindung, Aktivität sowie zelluläre und organismische Funktionen, verteilt auf vier aufeinanderfolgende Schwierigkeitsstufen mit steigender Verfügbarkeit experimenteller Informationen. Die Auswertung zeigt, dass derzeitige Modelle den Proteinumbau nicht verlässlich unterstützen können. Selbst das beste Modell erzielt bei einer Begrenzung auf 40 Kandidaten im Durchschnitt weniger als zwei hochwertige Treffer, und die Leistung sinkt deutlich, wenn Kombinationen von Mutationen komplexer werden. Ohne zielgerichtete Messdaten schneiden spezialisierte Protein-Sprachmodelle wie VenusREM bei der Kandidatenerzeugung besser ab, bleiben aber in der absoluten Trefferquote nah am Zufallsniveau. Sobald begrenzte experimentelle Ankerpunkte vorhanden sind, gewinnen allgemeine Großmodelle und Agentensysteme auf Basis des Werkzeugsets AMixKit an Stärke, weil sie vorhandene Hinweise kombinieren und bewerten können. In geschlossenen Schleifen verbessert Laborfeedback die Entdeckung: Unter demselben Budget von 40 Kandidaten stieg die Trefferquote von GPT-6 Astra über iterative Rückmeldungen von 2,54 auf 4,65 Prozent. Damit bestätigt der Test eine Beobachtung von Zhou Bowen, dem Direktor des Shanghai-KI-Labors: Fortschritt ist in der künstlichen Intelligenz ungleich verteilt, während Programmieraufgaben schnell besser lösbar werden, bleibt die eigenständige wissenschaftliche Arbeit vergleichsweise langsam. PFArena sieht den Ausweg in der Verbindung von allgemeiner und fachlicher Modellkompetenz. Protein-Sprachmodelle bringen Vorwissen über Sequenzen, Strukturen und Evolution ein; allgemeine Großmodelle übersetzen Forschungsziele in Suchstrategien und interpretieren experimentelle Hinweise. Das Werkzeugset AMixKit ermöglicht diese Kombination, indem es Großmodellen den Zugriff auf spezialisierte Proteinwerkzeuge und mehrstufige Bewertungsschritte gibt; das Basismodell Shusheng AMix-2.1 erreichte auf allen PFArena-Aufgaben konkurrenzfähige Ergebnisse. Für autonome Protein-KI werden drei Felder als entscheidend genannt: bessere Modelle für nichtadditive Anpassungslandschaften, die Abkehr von statischen Einzelvorhersagen zugunsten rückgekoppelter Optimierung mit Laborexperimenten sowie ein Zusammenspiel aus Fachwissen, allgemeinem Schlussfolgern, Werkzeugnutzung und Experimentauswahl. PFArena soll daher nicht nur die Vorhersage von Mutationswirkungen prüfen, sondern vor allem erfassen, ob Modelle Entscheidungen im Labor stützen können.
