MolCA : Modélisation de Graphes Linguistiques Moléculaires avec Projecteur Multimodal et Adaptateur Unimodal

Les modèles de langage (LMs) ont démontré une capacité impressionnante à comprendre les molécules dans diverses tâches textuelles unidimensionnelles (1D). Cependant, ils manquent intrinsèquement d'une perception graphique bidimensionnelle (2D), une compétence cruciale pour les professionnels humains dans la compréhension des structures topologiques des molécules. Pour combler cette lacune, nous proposons MolCA : Modélisation grapho-linguistique moléculaire avec projecteur intermodal et adaptateur unimodal. MolCA permet à un modèle de langage (par exemple, Galactica) de comprendre à la fois le contenu moléculaire textuel et graphique grâce au projecteur intermodal. Plus précisément, le projecteur intermodal est mis en œuvre sous forme de Q-Former pour relier l'espace de représentation d'un encodeur graphique et l'espace textuel d'un modèle de langage. De plus, MolCA utilise un adaptateur unimodal (c'est-à-dire LoRA) pour l'adaptation efficace du modèle de langage aux tâches en aval. Contrairement aux études précédentes qui associent un modèle de langage à un encodeur graphique par apprentissage par contraste intermodal, MolCA conserve la capacité du modèle de langage à générer du texte ouvert tout en enrichissant cette capacité avec des informations graphiques 2D. Pour illustrer son efficacité, nous avons évalué MolCA sur une large gamme de tâches, notamment la légendification des molécules, la prédiction des noms IUPAC et la recherche de correspondance entre texte et molécule, où MolCA surpasse considérablement les méthodes de référence. Nos codes source et points de contrôle peuvent être consultés sur https://github.com/acharkq/MolCA.