Mol-LLM : LLM généraliste multimodal moléculaire avec une utilisation améliorée des graphes

Les avancées récentes dans les grands modèles linguistiques (LLM) ont conduit à la mise au point de modèles capables de traiter une large variété de tâches moléculaires, telles que la prédiction de réactions chimiques ou la prédiction de propriétés moléculaires. L’existence de jeux de données d’instruction à grande échelle pour les molécules a permis le développement de LLM généralistes basés uniquement sur les séquences (par exemple, SMILES ou SELFIES), et les chercheurs explorent désormais des approches multimodales intégrant des informations structurales moléculaires afin d’obtenir de meilleures performances. Toutefois, un LLM véritablement multimodal et généraliste couvrant un large spectre de tâches moléculaires n’a pas encore été pleinement exploré. Nous observons que l’entraînement classique par prédiction du prochain token ignore les informations topologiques des graphes moléculaires, ce qui limite la capacité d’un LLM à exploiter efficacement ces structures. Pour remédier à cela, nous proposons : (i) une Optimisation de Préférence pour la Structure Moléculaire (MolPO), qui améliore l’utilisation des graphes en optimisant les préférences entre paires de structures moléculaires correctes et perturbées ; et (ii) un encodeur graphique avancé accompagné d’une stratégie pré-entraînement personnalisée afin d’améliorer l’efficacité de l’utilisation des graphes par MolPO. À partir de ces contributions, nous introduisons Mol-LLM, le premier modèle généraliste multimodal capable de : (a) traiter un large éventail de tâches moléculaires parmi les LLM moléculaires, (b) exploiter explicitement les informations structurelles moléculaires, et (c) tirer parti d’un entraînement par instruction étendu. Mol-LLM atteint des performances de pointe ou comparables sur le benchmark le plus complet pour les LLM moléculaires — y compris sur des jeux de données hors distribution pour la prédiction de réactions et de propriétés, où il surpasse largement les modèles généralistes antérieurs.