Command Palette
Search for a command to run...
Chemformer: ein vortrainiertes Transformer-Modell für die computergestützte Chemie
Chemformer: ein vortrainiertes Transformer-Modell für die computergestützte Chemie
Esben Jannik Bjerrum Jiazhen He Spyridon Dimitriadis Ross Irwin
Zusammenfassung
Transformer-Modelle, kombiniert mit einem vereinfachten System zur Eingabe molekularer Strukturen (SMILES), haben sich in letzter Zeit als eine leistungsstarke Kombination zur Bewältigung von Herausforderungen in der Chemoinformatik erwiesen. Diese Modelle werden jedoch häufig spezifisch für eine einzelne Anwendung entwickelt und erfordern eine sehr ressourcenintensive Trainingsphase. In dieser Arbeit stellen wir das Chemformer-Modell vor – ein auf Transformers basierendes Modell, das schnell für sequenz-zu-Sequenz- sowie für diskriminative Aufgaben in der Chemoinformatik eingesetzt werden kann. Zudem zeigen wir, dass eine selbstüberwachte Vortrainierung die Leistungsfähigkeit verbessern und die Konvergenzgeschwindigkeit bei nachfolgenden Aufgaben erheblich beschleunigen kann. Auf Benchmark-Datensätzen für direkte Synthese und Retrosynthese erzielen wir state-of-the-art-Ergebnisse hinsichtlich der Top-1-Accuracy. Außerdem überbieten wir bestehende Ansätze bei einer molekularen Optimierungsaufgabe und zeigen, dass Chemformer gleichzeitig auf mehreren diskriminativen Aufgaben optimieren kann. Nach der Veröffentlichung werden Modelle, Datensätze und Code zugänglich gemacht.