Vorschau Auf Die Live-Übertragung | Neuer Durchbruch in Der Proteinoptimierung! Die Forschungsergebnisse Der Zhejiang-Universität Wurden Für NeurIPS 2024 Ausgewählt, Und Der Erstautor Des Papiers Erläuterte Die Technischen Highlights Im Detail
Die fünfte Folge der Live-Serie „Meet AI4S“ wird am 10. Dezember pünktlich um 19:00 Uhr ausgestrahlt. HyperAI hat die Ehre, Wang Zeyuan, einen Doktoranden des Knowledge Engine Laboratory der Zhejiang-Universität, einzuladen. Das Thema seines Vortrags lautet diesmal: „Verwendung des Diffusions-Rauschunterdrückungsprozesses zur Unterstützung großer Modelle bei der Optimierung von Proteinen.“
Professor Chen Huajun, Forscher Zhang Qiang, Dr. Wang Zeyuan und andere von der Zhejiang-Universität schlugen ein neues Proteinsprachenmodell zur Rauschunterdrückung (DePLM) vor.Die vom Proteinsprachenmodell erfassten evolutionären Informationen können als eine Mischung aus für die Zieleigenschaft relevanten und irrelevanten Informationen betrachtet werden, wobei irrelevante Informationen als „Rauschen“ betrachtet und eliminiert werden. Dadurch wird die adaptive Proteinlandschaft vorhergesagt und die Proteinoptimierung unterstützt.
Untersuchungen haben gezeigt, dass DePLM bei der Vorhersage der Auswirkungen von Proteinmutationen bestehende Methoden übertrifft und über starke Generalisierungsfähigkeiten für neue Proteine verfügt. Diese Leistung wurde für die Top-Konferenz NeurIPS 2024 ausgewählt.
In dieser Live-Übertragung wird Dr. Wang Zeyuan die innovativen Ideen dieses Papiers im Detail erläutern. HyperAI hat außerdem speziell 10 Stunden NVIDIA RTX A6000-Ressourcen für alle vorbereitet. Zuschauer, die an der Verlosung im Live-Übertragungsraum teilnehmen, haben die Möglichkeit, sie kostenlos zu erhalten!
Scannen Sie den QR-Code und geben Sie „AI4S“ ein, um der Diskussionsgruppe beizutreten ⬇️
Gastvorstellung
Teilen Sie das Thema
Diffusions-Rauschunterdrückung zur Optimierung großer Modelle von Proteinen
Einführung
Unsere Forschungsgruppe hat eine Methode vorgeschlagen, um das große Modell mit dem Diffusions-Rauschunterdrückungsmodell zu kombinieren. Durch Feinabstimmung mit einer kleinen Menge feuchter experimenteller Daten wurde die Genauigkeit des großen Modells bei Aufgaben zur Vorhersage proteinadaptiver Landschaften verbessert, während die gute Generalisierungsfähigkeit des Modells erhalten blieb.
Vorteile für das Publikum
1. Verstehen Sie die Methoden, Datensätze und Indikatoren zur Vorhersage der Protein-Fitnesslandschaft
2. Verstehen, wie das Diffusion Model Enhanced Language Model (DePLM) zur adaptiven Landschaftsvorhersage verwendet werden kann
3. Entdecken Sie, wie Sie evolutionäre Informationen, Nassexperimente und andere Daten für das Training von KI-Modellen kombinieren können
Überprüfung der Arbeit
HyperAI hat zuvor das Forschungspapier „DePLM: Denoising Protein Language Models for Property Optimization“ mit Dr. Wang Zeyuan als Erstautor interpretiert.
Forschungshighlights
* DePLM kann Informationen, die für die Zieleigenschaft irrelevant sind, effektiv herausfiltern und die Proteinoptimierung verbessern, indem es die in PLM enthaltenen evolutionären Informationen optimiert.
* DePLM übertrifft nicht nur die aktuellen Spitzenmodelle bei der Vorhersage von Mutationseffekten, sondern zeigt auch starke Generalisierungsfähigkeiten auf neue Proteine
* Diese Studie entwirft einen sortierungsbasierten Vorwärtsprozess im Denoising-Diffusion-Framework, der den Diffusionsprozess auf den Sortierraum der Mutationsmöglichkeiten erweitert und gleichzeitig das Lernziel von der Minimierung numerischer Fehler auf die Maximierung der Sortierrelevanz ändert, datensatzunabhängiges Lernen fördert und starke Generalisierungsfähigkeiten des Modells sicherstellt.
Datensatzerfassung
Für die Studie wurde der Proteinmutationsdatensatz von ProteinGym ausgewählt. Nach dem Ausschluss der zu langen Wildtyp-Proteindatensätze blieben schließlich 201 Deep-Mutation-Screening-Datensätze (DMS) übrig.
Der Datensatz wird direkt verwendet:
https://hyper.ai/datasets/32818
Modellarchitektur
Wie in der linken Abbildung unten gezeigt, verwendet DePLM die aus PLM abgeleitete Evolutionswahrscheinlichkeit als Eingabe und generiert eine denoistete Wahrscheinlichkeit für ein bestimmtes Attribut, um die Auswirkungen von Mutationen vorherzusagen. Im mittleren und rechten Teil der Abbildung unten verwendet das Denoising-Modul den Feature-Encoder, um eine Darstellung des Proteins unter Berücksichtigung der Primär- und Tertiärstrukturen zu generieren, die dann verwendet werden, um das Rauschen in der Wahrscheinlichkeit durch das Denoising-Modul zu filtern.
Um ein datensatzunabhängiges Lernen zu erreichen und eine starke Modellgeneralisierungsfähigkeit sicherzustellen, führten die Forscher einen Diffusionsprozess im Ranking-Raum der Merkmalswerte durch und ersetzten das traditionelle Ziel der Minimierung numerischer Fehler durch die Maximierung der Ranking-Relevanz.
Wissensmaschinenlabor der Zhejiang-Universität
Das Knowledge Engine Laboratory ist an der School of Computer Science and Technology, School of Software usw. der Zhejiang-Universität angesiedelt.Wir engagieren uns für akademische Forschung, Open Source sowie industrielle Innovation und Anwendung in den Bereichen Wissensgraphen, große Sprachmodelle und KI für die Wissenschaft. Zu den gemeinsamen Projekten gehören das gemeinsame Forschungs- und Entwicklungszentrum Knowledge Graph der Zhejiang-Universität und der Ant Group sowie das gemeinsame Labor Knowledge Engine der Zhejiang-Universität und Alibaba usw.
Das Team rekrutiert herausragende Postdoktoranden, Hundertjährige, F&E-Ingenieure und andere Vollzeitforscher. Willkommen an alle, die mitmachen möchten~
Github-Homepage des Labors:
Lernen Sie die AI4S Live-Serie kennen
HyperAI (hyper.ai) ist Chinas größte Suchmaschine im Bereich Datenwissenschaft. Es konzentriert sich auf die neuesten wissenschaftlichen Forschungsergebnisse von AI for Science und verfolgt wissenschaftliche Arbeiten in Top-Zeitschriften wie Nature und Science in Echtzeit. Bisher wurde die Interpretation von fast 200 AI for Science-Artikeln abgeschlossen.
Darüber hinaus betreiben wir auch das einzige Open-Source-Projekt „KI für die Wissenschaft“ in China, awesome-ai4s.
* Projektadresse:
https://github.com/hyperai/awesome-ai4s
Um die Popularisierung von AI4S weiter voranzutreiben, die Verbreitungsbarrieren für wissenschaftliche Forschungsergebnisse akademischer Einrichtungen weiter abzubauen und diese mit einem größeren Kreis von Branchenwissenschaftlern, Technologiebegeisterten und Industrieeinheiten zu teilen, hat HyperAI die Videokolumne „Meet AI4S“ geplant. Darin werden Forscher oder verwandte Einheiten, die sich intensiv mit dem Bereich KI für die Wissenschaft beschäftigen, eingeladen, ihre Forschungsergebnisse und -methoden in Form von Videos zu teilen und gemeinsam die Chancen und Herausforderungen zu diskutieren, denen sich KI für die Wissenschaft im Prozess des Fortschritts sowie der Förderung und Umsetzung wissenschaftlicher Forschung gegenübersieht, um so die Popularisierung und Verbreitung von KI für die Wissenschaft zu fördern.
Bisher haben wir erfolgreich 4 Meet AI4S-Liveübertragungen aus den Bereichen Geographische Informationswissenschaft, Biowissenschaften und Protein-Engineering durchgeführt.
Wir heißen leistungsfähige Forschungsgruppen und Forschungseinrichtungen herzlich willkommen, an unseren Live-Übertragungsaktivitäten teilzunehmen!Scannen Sie den QR-Code, um „Neural Star“ WeChat für Details hinzuzufügen ↓
