MolReFlect: Hin zu einer feinabgestimmten Kontextausrichtung zwischen Molekülen und Texten

Die Entdeckung von Molekülen ist ein zentrales Forschungsfeld, das von den Medikamenten, die wir einnehmen, bis hin zu den Materialien, die wir nutzen, weitreichende Auswirkungen hat. In jüngster Zeit wurden große Sprachmodelle (Large Language Models, LLMs) weitgehend für die Verständnis- und Generierung von Molekülen eingesetzt. Dennoch bleibt die Ausrichtung zwischen Molekülen und ihren zugehörigen Beschreibungen (Captions) ein bedeutendes Hindernis. Bisherige Ansätze behandeln Moleküle oft als allgemeine SMILES-Zeichenketten oder Molekülgitter, wodurch die feinabgestimmte Zuordnung zwischen molekularen Substrukturen und beschreibenden Textphrasen vernachlässigt wird – eine Information, die entscheidend für präzise und erklärbare Vorhersagen ist. In diesem Kontext stellen wir MolReFlect vor, einen neuartigen Lehrer-Schüler-Framework, der kontextuell feinabgestimmte Molekül-Beschreibung-Ausrichtungen ermöglicht. Unser Ansatz nutzt zunächst ein größeres Lehrer-LLM, um detaillierte Ausrichtungen durch direkte Extraktion kritischer Phrasen aus Molekül-Beschreibungen oder SMILES-Zeichenketten zu erzeugen und diese den entsprechenden Substrukturen oder Eigenschaften zuzuordnen. Um diese Ausrichtungen zu verfeinern, schlagen wir In-Context Selective Reflection vor, bei dem vorherige Extraktionsergebnisse als Kontextbeispiele verwendet werden, damit das Lehrer-LLM reflektieren und ein kleineres Schüler-LLM aus den reflektierten Ergebnissen und den vorherigen Extraktionen auswählen kann. Schließlich verbessern wir den Lernprozess des Schüler-LLMs durch Chain-of-Thought In-Context Molecule Tuning, wobei die feinabgestimmten Ausrichtungen und die Schlussfolgerungsprozesse im Chain-of-Thought-Format integriert werden. Unsere experimentellen Ergebnisse zeigen, dass MolReFlect es LLMs wie Mistral-7B ermöglicht, die bisherigen Baselines deutlich zu übertreffen und eine SOTA-Leistung auf dem ChEBI-20-Datensatz zu erzielen. Diese Fortschritte erhöhen nicht nur die generativen Fähigkeiten von LLMs im Molekül-Beschreibung-Übersetzungs-Task, sondern tragen auch zu einem erklärbareren Rahmen bei.