HyperAIHyperAI

Command Palette

Search for a command to run...

Chemformer: ein vortrainiertes Transformer-Modell für die computergestützte Chemie

Esben Jannik Bjerrum Jiazhen He Spyridon Dimitriadis Ross Irwin

Zusammenfassung

Transformer-Modelle, kombiniert mit einem vereinfachten System zur Eingabe molekularer Strukturen (SMILES), haben sich in letzter Zeit als eine leistungsstarke Kombination zur Bewältigung von Herausforderungen in der Chemoinformatik erwiesen. Diese Modelle werden jedoch häufig spezifisch für eine einzelne Anwendung entwickelt und erfordern eine sehr ressourcenintensive Trainingsphase. In dieser Arbeit stellen wir das Chemformer-Modell vor – ein auf Transformers basierendes Modell, das schnell für sequenz-zu-Sequenz- sowie für diskriminative Aufgaben in der Chemoinformatik eingesetzt werden kann. Zudem zeigen wir, dass eine selbstüberwachte Vortrainierung die Leistungsfähigkeit verbessern und die Konvergenzgeschwindigkeit bei nachfolgenden Aufgaben erheblich beschleunigen kann. Auf Benchmark-Datensätzen für direkte Synthese und Retrosynthese erzielen wir state-of-the-art-Ergebnisse hinsichtlich der Top-1-Accuracy. Außerdem überbieten wir bestehende Ansätze bei einer molekularen Optimierungsaufgabe und zeigen, dass Chemformer gleichzeitig auf mehreren diskriminativen Aufgaben optimieren kann. Nach der Veröffentlichung werden Modelle, Datensätze und Code zugänglich gemacht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Chemformer: ein vortrainiertes Transformer-Modell für die computergestützte Chemie | Paper | HyperAI