Text2Mol: Kreuzmodale Molekülabfrage mit natürlichsprachlichen Anfragen

Wir schlagen eine neue Aufgabe, Text2Mol, vor, um Moleküle mithilfe von natürlichsprachlichen Beschreibungen als Abfragen zu retrieven. Natürliche Sprache und Moleküle kodieren Informationen auf äußerst unterschiedliche Weise, was das spannende, aber herausfordernde Problem der Integration dieser beiden sehr unterschiedlichen Modalitäten ergibt. Obwohl bereits Arbeiten zu textbasiertem Retrieval und strukturbasiertem Retrieval existieren, erfordert diese neue Aufgabe eine direktere Integration von Molekülen und natürlicher Sprache. Zudem kann dies als besonders anspruchsvolles cross-linguales Retrieval-Problem betrachtet werden, wenn man die Moleküle als eine Sprache mit einer äußerst einzigartigen Grammatik begreift. Wir erstellen ein Paar-Datensatz aus Molekülen und ihren entsprechenden Textbeschreibungen, um einen gemeinsamen semantischen Embedding-Raum für das Retrieval zu lernen. Wir erweitern dies, um ein multimodales Aufmerksamkeits-basiertes Modell zur Erklärbarkeit und Neurangierung zu entwickeln, wobei die Aufmerksamkeiten als Assoziationsregeln interpretiert werden. Zudem verwenden wir einen Ensemble-Ansatz zur Integration unserer verschiedenen Architekturen, was die Ergebnisse signifikant von 0,372 auf 0,499 im MRR verbessert. Dieser neue multimodale Ansatz eröffnet eine neue Perspektive zur Lösung von Problemen im Bereich der Chemieliteraturverstehens und molekularer maschineller Lernverfahren.