Erinnern Sie sich noch an die Ehrfurcht, die Sie beim ersten Chat mit ChatGPT und Doubao empfanden? Basierend auf einem universellen Sprachmodell schienen sie allwissend und konnten nicht nur Gedichte verfassen und aktuelle Ereignisse verstehen, sondern auch malen, Briefe schreiben und programmieren – eine Bandbreite an Fähigkeiten, die die Menschen in Staunen versetzte. Doch angesichts eines so intelligenten Assistenten, der in Bereichen wie Kultur, Kunst und Wissenschaft scheinbar allmächtig ist, stellt sich Wissenschaftlern zunehmend die Frage: Wie gut kann ein universelles Sprachmodell in spezialisierten Bereichen mit hohen Wissensbarrieren funktionieren?

Im Protein-Engineering finden universelle Sprachmodelle aufgrund ihrer verbesserten Leistung in Benchmarks für biologisches Wissen und logisches Denken zunehmend Anwendung in Protein-Designprozessen. Wissenschaftlern fehlt jedoch weiterhin ein klares Verständnis ihrer Fähigkeit, die Auswirkungen von Proteinmutationen zu bewerten. Obwohl einige technische Berichte die Evaluierungsergebnisse einiger universeller Sprachmodelle, wie beispielsweise die im technischen Bericht zum Anthropischen System erwähnte ProteinGym-Hard-Evaluierung, die die Modelle der Claude-Serie evaluierte, vorgestellt haben, weisen diese Studien noch viele Mängel auf, wie etwa eine begrenzte Modellpopulation und das Fehlen einer vergleichenden Validierung über verschiedene Studien hinweg.

In Anbetracht dessenEin Forschungsteam der Harvard University und von Capable hat einen PG-LLM-Benchmark vorgeschlagen, der auf dem ProteinGym-Datensatz basiert.Erstmals wurden 13 universelle Sprachmodelle und 95 spezialisierte Proteinvorhersage-Tools gleichzeitig in einer einheitlichen Bewertungsdimension evaluiert. Mithilfe des PG-LLM-Benchmark-Tests konnten Wissenschaftler erstmals bestätigen, dass universelle Sprachmodelle tatsächlich Proteinmutations-Screenings durchführen können, einen hohen praktischen Nutzen besitzen und mindestens die Hälfte der etablierten spezialisierten Vorhersage-Tools übertreffen. Die Einführung dieses Benchmarks kann neue Werkzeuge im Bereich des Protein-Engineerings maßgeblich unterstützen und gleichzeitig völlig neue Ansätze für das Proteindesign eröffnen.

Die zugehörigen Ergebnisse mit dem Titel „PG-LLM: Benchmarking General-Purpose Language Models for Protein Variant Ranking“ wurden als Preprint auf bioRxiv veröffentlicht.

Forschungshighlights:

* Etablierung des ersten standardisierten Benchmarks für das Ranking von Proteinmutationen in einem universellen Sprachmodell: PG-LLM 

* Durchführung groß angelegter modellübergreifender Kontrollexperimente, um die Leistungsgrenzen zwischen allgemeinen Sprachmodellen und spezialisierten Proteinvorhersagemodellen klar zu definieren.
* Bietet eine multidimensionale experimentelle Perspektive, die die Unterschiede in den zugrunde liegenden Mechanismen der beiden Modelltypen aufzeigt und eine Grundlage für potenzielle Fusionslösungen bietet.

Link zum Artikel: https://www.proteingymllm.com/paper

Basierend auf dem ProteinGym-Datensatz umfasst dieser Datensatz 217 experimentelle Datensätze.

PG-LLM basiert auf dem ProteinGym-Datensatz, einem international standardisierten Benchmark-Datensatz im Bereich der Proteinmutationsvorhersage. Diese Studie verwendet den vollständigen ProteinGym v1.3 Deep-Mutation-Scanning-Datensatz.Es umfasst 186 verschiedene Proteine und insgesamt 217 Datensätze.Von diesen wurden 148 Gruppen ausschließlich durch Einzelpunktmutationsexperimente bestimmt, die übrigen 69 Gruppen wurden durch kombinierte Mehrstellenmutationsexperimente bestimmt.

Um faire Testbedingungen zu gewährleisten, wurde eine geschichtete Stichprobenstrategie zur Erstellung des Kandidatenmutationssatzes angewendet. Alle Mutationen wurden gemäß ihren gemessenen Funktionswerten vom kleinsten zum größten sortiert und anschließend gleichmäßig in zehn Intervalle unterteilt. Aus jedem Intervall wurde dann eine annähernd gleiche Anzahl von Mutationsproben gezogen. Dadurch wurde sichergestellt, dass der Kandidatensatz Proben mit niedrigen, mittleren und hohen Funktionswerten ausgewogen abdeckte, wodurch eine Konzentration der Proben in einem einzelnen Intervall und somit eine Testverzerrung vermieden wurde. Um gleichzeitig die durch zufällige Stichprobenziehung bedingte Zufälligkeit der Ergebnisse zu eliminieren, wurden für jede Versuchsgruppe drei unabhängige Teilmengen von Kandidatenmutationen, sogenannte „Ziehungen“, erstellt. Der endgültige Modellleistungswert ergab sich aus dem Mittelwert der drei Auswertungsergebnisse.

In dieser Studie wurden drei Kandidaten-Setgrößen festgelegt, die jeweils 10, 50 bzw. 100 Mutationen enthielten.Die Rangfolge der Ergebnisse basiert in erster Linie auf einem Kandidatenset von 50 Mutationen.Um die Einheitlichkeit und Fairness der Experimente zu gewährleisten, folgten alle experimentellen Werte den verschachtelten Makroaggregationsregeln von ProteinGym, was bedeutet, dass je höher der gemessene Wert ist, desto besser die funktionelle Leistung des mutierten Proteins ist.

Der erste standardisierte Bewertungsmaßstab für das Proteinmutationsranking für ein allgemeines Sprachmodell

Der PG-LLM-Benchmark ist ein standardisierter Satz von Benchmark-Tools, der speziell zur Bewertung der Fähigkeiten allgemeiner Sprachmodelle zur Sequenzierung von Proteinmutationen entwickelt wurde.Das Rahmenwerk ist so konzipiert, dass es einen fairen und einheitlichen Arbeitsablauf für Mutationssequenzierungsaufgaben ohne Stichproben gewährleistet.Konkret liefert jede Aufgabe dem Modell lediglich die Eingabeproteinsequenz und die Beschreibung des experimentellen Nachweisplans. Ohne Bereitstellung von Informationen zum multiplen Sequenzvergleich (MSA) oder zur dreidimensionalen Proteinstruktur ist das Modell gezwungen, die 50 zufällig angeordneten Mutantenproteine selbstständig nach ihrer funktionellen Qualität zu sortieren.

Um die kollektive Leistung allgemeiner Sprachmodelle bei der Sequenzierung von Proteinmutationen systematisch zu bewerten, verzerrte Schlussfolgerungen aus einem einzelnen Modell zu vermeiden und das Leistungsniveau des allgemeinen Sprachmodells zu quantifizieren sowie seine Fähigkeitsgrenzen zu verdeutlichen,Diese Studie umfasste zwei Hauptkategorien von Bewertungsobjekten für eine umfassende Validierung sowohl horizontaler als auch vertikaler Dimensionen: das eine war ein allgemeines Sprachmodell, das andere ein spezialisiertes Proteinvorhersagemodell.Hinsichtlich der Eingabebedingungen und Bewertungsregeln werden in dieser Studie, basierend auf den unterschiedlichen Funktionsprinzipien der beiden Modelltypen, bewusst ungleiche Eingabebedingungen für das spezialisierte Vorhersagemodell im Vergleich zum allgemeinen Sprachmodell angewendet. Im Gegensatz zu den strengeren Eingabebedingungen des allgemeinen Sprachmodells kann das spezialisierte Vorhersagemodell nativ bereitgestellte Eingaben, einschließlich MSA- oder Protein-3D-Strukturinformationen, verwenden. Die Bewertungsregeln verwenden dieselben aggregierten Bewertungsmetriken wie das allgemeine Sprachmodell, wobei der Score-Index durch den Spearman-Rangkorrelationskoeffizienten dargestellt wird. ρ = 1 bedeutet perfekte Übereinstimmung in der Rangfolge, und ρ = 0 bedeutet keine monotone Rangkorrelation.

Das allgemeine Sprachmodell umfasst insbesondere 13 gängige Modelle, darunter Claude Opus 5, die GPT-Serie, die Gemini-Serie, GLM-5.2 und Kimi K3. Unter den 95 spezialisierten Modellen zur ProteinvorhersageDazu gehört VenusREM, ein hochmodernes Vorhersageinstrument auf dem Gebiet der Proteinmutationen.Dieses unter der Leitung von Tan Yang, einem technischen Wissenschaftler am Tianwu Technology AI Lab, entwickelte, abrufoptimierte Open-Source-Protein-Sprachmodell wurde speziell für die Vorhersage der Auswirkungen von Punktmutationen ohne Stichproben entwickelt. In dieser Studie zeichnet es sich als eines der leistungsstärksten professionellen Domänenmodelle aus und übertrifft Claude Opus 5.

VenusREM erzielte bereits Spitzenwerte bei der Zero-Shot-Vorhersage auf ProteinGym, einem Benchmark zur Bewertung der Auswirkungen von Proteinmutationen, der von einem Team der Harvard Medical School entwickelt wurde. Dabei übertraf es repräsentative Modelle von Teams wie Meta, BioMap und Microsoft. Das VenusREM-Modell und der zugehörige Code sind vollständig Open Source und wurden in den letzten 30 Tagen über 4.000 Mal auf der Hugging Face-Plattform und seit der Veröffentlichung über 250.000 Mal heruntergeladen.

Um die schnelle Übernahme des fortschrittlichen VenusREM-Modells durch die Entwickler zu erleichternIm Tutorial-Bereich der offiziellen Website von HyperAI (hyper.ai) findet sich nun „VenusREM: Suchbasierte Vorhersage der Auswirkungen von Proteinmutationen“.Die Umgebungskonfiguration ist abgeschlossen, und die Bereitstellung ist mit minimalem Aufwand einfach.

Online ausführen:

https://hyper.ai/cn/notebooks/venusrem-retrieval-enhanced-protein-mutation-effect-prediction
VenusREM Open-Source-Adresse:

https://github.com/ai4protein/VenusREM

Modellübergreifende, mehrdimensionale Vergleichsstudien decken die Unterschiede in den zugrunde liegenden Mechanismen zwischen den beiden Modelltypen auf.

Die wichtigsten Schlussfolgerungen dieser Studie basieren auf einem Kandidatensatz der Größe 50, und die Ergebnisse sind in der folgenden Abbildung dargestellt:

Die Ergebnisse zeigen, dass Claude Opus 5 mit einem Spearman-Korrelationskoeffizienten ρ = 0,406 die Rangliste der besten Sprachmodelle anführt, dicht gefolgt von GPT-5.6 Sol mit ρ = 0,402. Dieses Ergebnis ist jedoch nicht absolut. Im Vergleich von Experimenten, in denen beide Modelle die Tests vollständig absolvieren konnten, schnitt GPT-5.6 Sol beispielsweise bei 180 gemeinsamen Bewertungsmetriken besser ab.Der GPT-5.6 Sol-Wert übertraf den GPT-5.6-Wert um 0,409 zu 0,400.

Noch aussagekräftiger ist, dass Claude Opus 5 im Vergleich zu vertikalen Modellen ebenfalls den Medianwert erreicht. Konkret übertrifft es 49 von 95 Methoden, darunter 41 von 46 reinen Sequenzmethoden und 8 von 49 kombinierten Methoden, die MSA oder strukturelle Verfahren verwenden. Dies spiegelt sich in seinem Wert wider, der über dem Median der reinen Sequenzmethoden liegt (ρ = 0,374).Für das spezielle große Proteinmodell ESM2-650M liegt der Wert nahe bei 0,411, aber immer noch deutlich hinter dem Wert von 0,523 für VenusREM.

Um weiter zu überprüfen, ob der Einsatz zusätzlicher Rechenressourcen während der Inferenzphase die Leistungsfähigkeit allgemeiner Sprachmodelle verbessern kann, führten die Forscher weitere Validierungen durch. Die Ergebnisse zeigten, dass die Genauigkeit aller GPT-, Claude- und Gemini-Modelle stieg, wenn den Modellen mehr Zeit zum Nachdenken und zur Ausgabe von mehr Inferenztexten eingeräumt wurde. Ab einem gewissen Punkt konvergierten die Leistungssteigerungen jedoch allmählich und konnten schließlich nicht mehr mit spezialisierten Modellen zur Proteinvorhersage mithalten. (Siehe Abbildung unten.)

Eine Erhöhung der Ressourcen ist jedoch nicht immer von Vorteil. Die Vergrößerung des Kandidatensatzes kann bei allgemeinen Sprachmodellen sogar den gegenteiligen Effekt haben. Beispielsweise sinkt der Wert von GPT-5.6 Sol in 178 gemeinsamen Metriken von 0,423 auf 0,375, wenn die Kandidatenanzahl von 10 auf 100 erhöht wird. Ein Leistungsabfall bei anderen allgemeinen Sprachmodellen ist ebenfalls unvermeidbar.Im krassen Gegensatz dazu sind vertikale Modelle wie ESM2-150M, ESM2-650M und VenusREM nahezu unbeeinträchtigt.

Darüber hinaus erzielen reine Sequenzvorhersage-Tools bessere Ergebnisse bei Proteinen mit ausreichend evolutionären Kontrastinformationen, während die Genauigkeit allgemeiner großer Modelle nahezu unbeeinflusst von der Kontrasttiefe bleibt. Beispielsweise blieben in einem Vergleichsexperiment mit 13 allgemeinen Sprachmodellen und 46 reinen Sequenzmethoden über 180 Tests die Aggregationsergebnisse der 13 allgemeinen Sprachmodelle zwischen Proteinen mit geringer und hoher Kontrasttiefe im Wesentlichen unverändert. Die adjustierte Leistung für Gruppen mit geringer, mittlerer und hoher Kontrasttiefe betrug 0,313, 0,301 bzw. 0,311, mit einem Unterschied von lediglich -0,002 zwischen hoher und geringer Kontrasttiefe. (Siehe Abbildung unten.)

Im Gegensatz dazu stieg der Mittelwert der reinen Sequenzmethode von 0,309 in geringer Tiefe auf 0,380 in mittlerer Tiefe und 0,411 in großer Tiefe, was einer Differenz von +0,102 entspricht. Darüber hinaus zeigte die Punktschätzung von 45 der 46 Methoden, dass die Leistung in großer Tiefe besser war als in geringer Tiefe.

Abschließend wurde in der Studie untersucht, ob die Verunreinigung der Trainingsdaten die Vorhersagegenauigkeit des Modells beeinflusste. Die Ergebnisse zeigten, dass sich die Genauigkeit der Rangfolge von Modellen, die die Originaldokumente erkennen konnten, im Vergleich zu Modellen, die dies nicht konnten, nicht stetig verbesserte; in einigen Fällen waren die Werte der Modelle, die die Originaldokumente erkennen konnten, sogar niedriger.

Potenzielle Fusionsschemata bieten neue Ideen für die Anwendung von Werkzeugen auf dem Gebiet des Proteindesigns.

Zusammenfassend zeigen die Ergebnisse dieser Studie zuverlässig, dass universelle Sprachmodelle Proteinmutationssequenzen vorhersagen können und ihre Leistung viele klassische Sequenzvorhersagewerkzeuge übertrifft, was ihren praktischen Nutzen unterstreicht. Gleichzeitig bestätigt die Studie jedoch, dass weiterhin eine erhebliche Lücke zu führenden spezialisierten Vorhersagemethoden besteht und sie spezialisierte Proteinvorhersagemethoden nicht vollständig ersetzen können. Dennoch ist Spezialisierung der Schlüssel, und weder universelle Sprachmodelle noch spezialisierte Vorhersagemodelle können ausschließlich für spezifische Domänenaufgaben eingesetzt werden; die Koordination ihrer jeweiligen Ansätze ist daher eine wichtige Frage.

Es ist erwähnenswert, dassIm Hauptranking dieser Studie wurde VenusREM, dessen Spearman-Korrelationskoeffizient den von VenusREM bei weitem übertrifft, unter der Leitung eines Doktoranden entwickelt, der in den 2000er Jahren geboren wurde.—Tan Yang, ein technischer Wissenschaftler im Tianwu Technology AI Lab, ist derzeit Doktorand an der Shanghai Jiao Tong University und der Shanghai Innovation Academy (Abschlussjahrgang 2025). Als multimodales, vortrainiertes Modell zur Vorhersage der Auswirkungen von Proteinmutationen und zum Protein-Engineering besteht das Hauptziel von VenusREM darin, die Aminosäuresequenz, die dreidimensionale Struktur und die Homologieinformationen von Proteinen gemeinsam zu nutzen, um die potenziellen Auswirkungen von Kandidatenmutationen auf funktionelle Eigenschaften wie Proteinaktivität, Stabilität und Bindungsfähigkeit genauer zu bewerten.

Anders als herkömmliche Protein-Sprachmodelle, die sich ausschließlich auf Einzelsequenzinformationen stützen, kodiert VenusREM Aminosäuresequenzen als Sequenzterme und diskretisiert die lokale dreidimensionale räumliche Umgebung jedes Restes als Strukturterme. Anschließend modelliert es gemeinsam den Sequenzkontext, lokale Strukturmerkmale und die relativen Positionsbeziehungen zwischen Resten durch entkoppelte Multi-Head-Cross-Attention. Auf diese WeiseDas Modell kann nicht nur die sequentielle Abhängigkeit einer Aminosäure in der Sequenz verstehen, sondern auch die Wechselwirkungen zwischen Resten identifizieren, die in der Sequenz weit voneinander entfernt sind, aber im dreidimensionalen Raum nahe beieinander liegen.

Aufbauend auf dieser Grundlage führt VenusREM ein Suchoptimierungsmodul ein, das in Proteindatenbanken nach homologen Sequenzen des Zielproteins sucht und mittels multipler Sequenzalignments evolutionäre Konservierung und Aminosäuresubstitutionspräferenzen an jeder Position extrahiert. Das Modell verknüpft die gemeinsame Charakterisierung von Sequenz und Struktur mit Informationen zur homologen Evolution. Selbst ohne experimentelle Markierung des Zielproteins oder zusätzliches Training berechnet es Fitnesswerte für Einzel- und Mehrpunktmutationen und ordnet Kandidatenmutationen, indem es die vorhergesagten Werte von mutierten und Wildtyp-Aminosäuren an entsprechenden Positionen vergleicht.

Dann,Dr. Tan Yang leitete innerhalb des Unternehmens die Entwicklung und Implementierung von MatwingsVenus™, einem dialogorientierten intelligenten Agenten für die Proteinforschung und -entwicklung, basierend auf VenusREM. Das herausragendste Merkmal von MatwingsVenus™ ist die Realisierung von „konversationeller Forschung und Entwicklung“. Ohne tiefgreifende Programmierkenntnisse oder den Aufbau komplexer Modelle ermöglicht die einfache Eingabe von Befehlen wie in einem lockeren Gespräch der KI, selbstständig Design, Vorhersage und vollständige Prozessverifizierung von Proteinen durchzuführen. Erst letzten Monat glänzte diese „KI-Wissenschaftler“-Innovation auf der Weltkonferenz für Künstliche Intelligenz 2026 und wurde neben Branchenriesen wie Alibaba und Baidu als „Schatz der Konferenz“ ausgezeichnet. Sie war das einzige wissenschaftliche KI-Produkt, das für die Konferenz ausgewählt wurde.

Wie Tan Yang in einem Interview erklärte, haben sowohl allgemeine Sprachmodelle als auch vertikale Modelle ihre Vor- und Nachteile. Erstere sind zwar fachlich fundiert, bieten aber wenig Tiefgang in einem bestimmten Fachgebiet, während letztere zwar ein tiefes Verständnis der zugrundeliegenden wissenschaftlichen Forschungsdaten besitzen, jedoch Denk- und Schlussfolgerungsfähigkeiten vermissen lassen. Die Verwendung eines allgemeinen Sprachmodells zum Verständnis komplexer experimenteller Anforderungen, wodurch ein menschlicher Faktor einbezogen wird, in Kombination mit einem vertikalen Modell zur Nutzung evolutionärer oder struktureller Informationen für eine präzise Bewertung, kann zu besseren Ergebnissen führen.