Akademisches Teilen | Keine Angst Vor Datenmangel! Zhou Ziyi, Postdoktorand an Der Shanghai Jiao Tong University, Erklärt Die Small-Sample-Lernmethode FSFP Des Proteinsprachenmodells
Vortrainierte Proteinsprachenmodelle (PLMs) können die Verteilungsmerkmale von Aminosäuresequenzen in Millionen von Proteinen unbeaufsichtigt erlernen und bieten damit großes Potenzial für die Aufdeckung der impliziten Beziehung zwischen Proteinsequenzen und ihren Funktionen.
In diesem Zusammenhang hat die Forschungsgruppe von Professor Hong Liang von der School of Natural Sciences/School of Physics and Astronomy/Zhangjiang Institute for Advanced Studies/School of Pharmacy der Shanghai Jiao Tong University zusammen mit Tan Pan, einem jungen Forscher vom Shanghai Artificial Intelligence Laboratory,Wir haben eine Lernmethode für Proteinsprachenmodelle mit kleinen Stichproben entwickelt, die die Vorhersageleistung von Mutationseffekten herkömmlicher Proteinsprachenmodelle unter Verwendung sehr weniger experimenteller Daten erheblich verbessern kann.Es hat großes Potenzial in der praktischen Anwendung gezeigt.
In der dritten Folge der Live-Serie „Meet AI4S“ hatte HyperAI das Glück, den Erstautor des Artikels zu diesem Forschungsergebnis, Zhou Ziyi, einen Postdoktoranden am Institut für Naturwissenschaften der Shanghai Jiao Tong University und dem Shanghai National Center for Applied Mathematics, einladen zu können. Am 25. September wird Dr. Zhou Ziyi in Form einer Online-Liveübertragung die Methode zum Lernen kleiner Stichproben des Proteinsprachenmodells mit allen teilen und neue Ideen für die gerichtete Evolution mit Unterstützung durch KI erkunden.
Klicken Sie hier, um eine Live-Übertragung zu planen:
Scannen Sie den QR-Code und geben Sie „AI4S“ ein, um der Diskussionsgruppe beizutreten ↓
Veranstaltungsdetails
Teilen Sie das Thema
Few-Shot-Lernmethode für Proteinsprachenmodell
Einführung
Das Protein Language Model (PLM) hat Durchbrüche bei der Vorhersage von Proteinfunktionen erzielt, erfordert jedoch oft eine umfangreiche Feinabstimmung experimenteller Daten, um eine hohe Genauigkeit zu erreichen. In diesem Artikel wird eine Lernmethode für PLM anhand kleiner Stichproben vorgestellt, mit der die Vorhersageleistung von Mutationseffekten in PLM mithilfe von nur Dutzenden von Trainingsstichproben erheblich verbessert werden kann.
Überprüfung der Arbeit
HyperAI hat zuvor das Forschungspapier „Enhancing efficiency of protein language models with minimal wet-lab data through few-shot learning“ mit Dr. Ziyi Zhou als Erstautor interpretiert und veröffentlicht.
Die FSFP-Methode besteht aus 3 Phasen:
Erstellen Sie Hilfsaufgaben für das Metatraining, trainieren Sie PLMs an den Hilfsaufgaben und übertragen Sie PLMs per LTR an die Zielaufgabe.
Unter anderem verwendet FSFP den ListMLE-Verlust, um die Einstufung der Mutationsfitness zu erlernen. In jeder Trainingsiteration werden die vom PLM vorhergesagten Rangfolgen der Trainingsbeispiele in Richtung ihrer tatsächlichen Rangfolgen korrigiert. Der Learning-to-Rank-Ansatz wird gleichzeitig auf die internen Optimierungs- und Transferlernphasen der Metatrainingsphase angewendet.
Datensatzerfassung
Für diese Studie wurde der Proteinmutationsdatensatz (ProteinGym) als Benchmarkdatensatz ausgewählt. Der Datensatz enthält insgesamt etwa 1,5 Millionen Missense-Varianten aus 87 DMS-Sequenzierungsexperimenten.
Downloadadresse für den ProteinGym-Proteinmutationsdatensatz:
https://go.hyper.ai/6GvFD
FSFP-Methodenbewertung
* In Bezug auf die durchschnittliche Leistung übertreffen mit FSFP trainierte PLMs bei allen Trainingsdatengrößen durchweg andere Baselines.
* In Bezug auf die Bewertung der Extrapolationsleistung ist die Spearman-Korrelationsbewertung von FSFP-trainierten PLMs überlegen.
* FSFP wurde erfolgreich auf die technische Modifikation der Phi29-DNA-Polymerase angewendet, wodurch die Positivrate deutlich verbessert wurde.
Vorteile für das Publikum:
1. Verstehen Sie die Grundprinzipien von PLM und seine Anwendung im Protein-Engineering
2. Verstehen Sie die Grundprinzipien von PLM und seine Anwendung im Protein-Engineering
3. Neue Ideen für die gerichtete Evolution mit KI-Unterstützung erkunden
Hong Liangs Forschungsgruppe an der Shanghai Jiao Tong University
Die Forschungsgruppe von Hong Liang an der Shanghai Jiao Tong University ist dem Institut für Naturwissenschaften der Shanghai Jiao Tong University angeschlossen. Die Forschungsrichtung der Forschungsgruppe liegt hauptsächlich auf dem KI-Protein- und Arzneimitteldesign sowie der Molekularbiophysik, einschließlich:
* Proteingesteuerte Modifikation, durch Enzymtechnik gesteuerte Evolution und unterstütztes Arzneimitteldesign auf der Grundlage künstlicher Intelligenz;
* Neutronenstreuung, Synchrotronstrahlung in großen nationalen wissenschaftlichen Einrichtungen, Einzelmolekülfluoreszenz, Molekulardynamiksimulation und Algorithmen der künstlichen Intelligenz usw. zum Studium der Dynamik biologischer Makromoleküle sowie der Technologie und Prinzipien der Kryokonservierung biologischer Makromoleküle.
Das Forschungsteam hat fruchtbare Ergebnisse erzielt. Bis heute haben sie 77 Forschungsarbeiten veröffentlicht, viele davon in Nature-Zeitschriften.
Lernen Sie die AI4S Live-Serie kennen
HyperAI (hyper.ai) ist Chinas größte Suchmaschine im Bereich Datenwissenschaft. Es konzentriert sich auf die neuesten wissenschaftlichen Forschungsergebnisse von AI for Science und verfolgt wissenschaftliche Arbeiten in Top-Zeitschriften wie Nature und Science in Echtzeit. Bisher wurde die Interpretation von über 100 AI for Science-Artikeln abgeschlossen.
Darüber hinaus betreiben wir auch das einzige Open-Source-Projekt „KI für die Wissenschaft“ in China, awesome-ai4s.
Projektadresse:
https://github.com/hyperai/awesome-ai4s
Um die Popularisierung von AI4S weiter voranzutreiben, die Verbreitungsbarrieren für wissenschaftliche Forschungsergebnisse akademischer Einrichtungen weiter abzubauen und diese mit einem größeren Kreis von Branchenwissenschaftlern, Technologiebegeisterten und Industrieeinheiten zu teilen, hat HyperAI die Videokolumne „Meet AI4S“ geplant. Darin werden Forscher oder verwandte Einheiten, die sich intensiv mit dem Bereich KI für die Wissenschaft beschäftigen, eingeladen, ihre Forschungsergebnisse und -methoden in Form von Videos zu teilen und gemeinsam die Chancen und Herausforderungen zu diskutieren, denen sich KI für die Wissenschaft im Prozess des Fortschritts sowie der Förderung und Umsetzung wissenschaftlicher Forschung gegenübersieht, um so die Popularisierung und Verbreitung von KI für die Wissenschaft zu fördern.
Wir heißen leistungsfähige Forschungsgruppen und Forschungseinrichtungen herzlich willkommen, an unseren Live-Events teilzunehmen! Scannen Sie den QR-Code, um „Neural Star“ WeChat für Details hinzuzufügen ↓