Ein Transformer kann sowohl 2D- als auch 3D-Moleküldaten verstehen

Im Gegensatz zu Bilddaten und Sprachdaten, die gewöhnlich ein einziges, festgelegtes Format aufweisen, können Moleküle naturgemäß durch verschiedene chemische Darstellungsformen beschrieben werden. Ein Molekül kann als zweidimensionaler Graph betrachtet oder als Sammlung von Atomen in einem dreidimensionalen Raum definiert werden. Bei der Lernung molekularer Darstellungen haben die meisten vorherigen Arbeiten neuronale Netzwerke ausschließlich für ein bestimmtes Datensformat entworfen, wodurch die gelernten Modelle für andere Datentypen häufig versagen. Wir sind der Ansicht, dass ein allgemein verwendbares neuronales Netzwerkmodell für die Chemie in der Lage sein sollte, molekulare Aufgaben über verschiedene Datensmodalitäten hinweg zu bewältigen. Um dieses Ziel zu erreichen, entwickeln wir in dieser Arbeit ein neuartiges, auf Transformers basierendes molekulares Modell namens Transformer-M. Dieses Modell kann molekulare Daten in 2D- oder 3D-Form als Eingabe akzeptieren und bedeutungsvolle semantische Darstellungen generieren. Aufbauend auf der Standard-Transformer-Architektur implementiert Transformer-M zwei getrennte Kanäle zur Kodierung von 2D- und 3D-Strukturinformationen, die dann in den Netzwerkmodulen mit den Atommerkmalen kombiniert werden. Bei Eingabedaten in einem bestimmten Format wird der entsprechende Kanal aktiviert, während der andere deaktiviert bleibt. Durch das Training auf 2D- und 3D-Moleküldaten unter Verwendung sorgfältig gestalteter überwachter Signale lernt Transformer-M automatisch, Wissen aus verschiedenen Datensmodalitäten zu nutzen und die korrekten Darstellungen zu erfassen. Wir haben umfangreiche Experimente mit Transformer-M durchgeführt. Alle empirischen Ergebnisse zeigen, dass Transformer-M gleichzeitig starke Leistung sowohl bei 2D- als auch bei 3D-Aufgaben erzielt, was auf seine breite Anwendbarkeit hindeutet. Der Quellcode und die Modelle werden öffentlich unter https://github.com/lsj2408/Transformer-M zur Verfügung gestellt.