HyperAIHyperAI

Command Palette

Search for a command to run...

Ein Transformer kann sowohl 2D- als auch 3D-Moleküldaten verstehen

Shengjie Luo Tianlang Chen Yixian Xu Shuxin Zheng Tie-Yan Liu Liwei Wang Di He

Zusammenfassung

Im Gegensatz zu Bilddaten und Sprachdaten, die gewöhnlich ein einziges, festgelegtes Format aufweisen, können Moleküle naturgemäß durch verschiedene chemische Darstellungsformen beschrieben werden. Ein Molekül kann als zweidimensionaler Graph betrachtet oder als Sammlung von Atomen in einem dreidimensionalen Raum definiert werden. Bei der Lernung molekularer Darstellungen haben die meisten vorherigen Arbeiten neuronale Netzwerke ausschließlich für ein bestimmtes Datensformat entworfen, wodurch die gelernten Modelle für andere Datentypen häufig versagen. Wir sind der Ansicht, dass ein allgemein verwendbares neuronales Netzwerkmodell für die Chemie in der Lage sein sollte, molekulare Aufgaben über verschiedene Datensmodalitäten hinweg zu bewältigen. Um dieses Ziel zu erreichen, entwickeln wir in dieser Arbeit ein neuartiges, auf Transformers basierendes molekulares Modell namens Transformer-M. Dieses Modell kann molekulare Daten in 2D- oder 3D-Form als Eingabe akzeptieren und bedeutungsvolle semantische Darstellungen generieren. Aufbauend auf der Standard-Transformer-Architektur implementiert Transformer-M zwei getrennte Kanäle zur Kodierung von 2D- und 3D-Strukturinformationen, die dann in den Netzwerkmodulen mit den Atommerkmalen kombiniert werden. Bei Eingabedaten in einem bestimmten Format wird der entsprechende Kanal aktiviert, während der andere deaktiviert bleibt. Durch das Training auf 2D- und 3D-Moleküldaten unter Verwendung sorgfältig gestalteter überwachter Signale lernt Transformer-M automatisch, Wissen aus verschiedenen Datensmodalitäten zu nutzen und die korrekten Darstellungen zu erfassen. Wir haben umfangreiche Experimente mit Transformer-M durchgeführt. Alle empirischen Ergebnisse zeigen, dass Transformer-M gleichzeitig starke Leistung sowohl bei 2D- als auch bei 3D-Aufgaben erzielt, was auf seine breite Anwendbarkeit hindeutet. Der Quellcode und die Modelle werden öffentlich unter https://github.com/lsj2408/Transformer-M zur Verfügung gestellt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ein Transformer kann sowohl 2D- als auch 3D-Moleküldaten verstehen | Paper | HyperAI