Mol-LLM: Multimodales Generalistisches Molekül-LLM mit Verbesserter Graphennutzung

Neuere Fortschritte bei großen Sprachmodellen (Large Language Models, LLMs) haben Modelle hervorgebracht, die eine Vielzahl molekularer Aufgaben bearbeiten können, wie beispielsweise die Vorhersage chemischer Reaktionen und molekularer Eigenschaften. Große, auf Anweisungen basierende Datensätze für Moleküle ermöglichten die Entwicklung von allgemeinen, sequenzbasierten (z. B. SMILES oder SELFIES) molekularen LLMs. Derzeit erforschen Forscher jedoch multimodale Ansätze, die strukturelle Information über Moleküle integrieren, um weitere Verbesserungen zu erzielen. Ein wirklich multimodales, allgemeines LLM, das einen breiten Spektrum an molekularen Aufgaben abdeckt, wurde bisher jedoch noch nicht umfassend untersucht. Wir beobachten, dass eine naive Vorhersage des nächsten Tokens die graphenstrukturelle Information ignoriert und somit die Fähigkeit eines LLMs einschränkt, molekulare Graphen effektiv zu nutzen. Um diesem Problem zu begegnen, schlagen wir (i) die molekulare Struktur-Präferenz-Optimierung (Molecular Structure Preference Optimization, MolPO) vor, die die Nutzung von Strukturen fördert, indem sie Präferenzen zwischen korrekten und gestörten molekularen Strukturen optimiert, sowie (ii) einen erweiterten Graphen-Encoder mit einer maßgeschneiderten Vortraining-Strategie, um die Wirksamkeit der Strukturausnutzung durch MolPO zu verbessern. Aufbauend auf diesen Beiträgen stellen wir Mol-LLM vor, das erste multimodale, allgemeine Modell, das (a) ein breites Spektrum molekularer Aufgaben unter molekularen LLMs bewältigt, (b) die molekulare Struktur explizit nutzt und (c) umfangreiche Anweisungstraining-Techniken nutzt. Mol-LLM erreicht state-of-the-art- oder vergleichbare Ergebnisse in der umfassendsten Benchmark für molekulare LLMs – sogar auf ausgelagerten Datensätzen für Reaktions- und Eigenschaftsvorhersage, wo es vorherige allgemeine molekulare LLMs deutlich übertrifft.