HyperAIHyperAI

Command Palette

Search for a command to run...

MolCA : Modélisation de Graphes Linguistiques Moléculaires avec Projecteur Multimodal et Adaptateur Unimodal

Zhiyuan Liu† Sihang Li‡ Yanchen Luo‡ Hao Fei† Yixin Cao§ Kenji Kawaguchi† Xiang Wang‡* Tat-Seng Chua†

Résumé

Les modèles de langage (LMs) ont démontré une capacité impressionnante à comprendre les molécules dans diverses tâches textuelles unidimensionnelles (1D). Cependant, ils manquent intrinsèquement d'une perception graphique bidimensionnelle (2D), une compétence cruciale pour les professionnels humains dans la compréhension des structures topologiques des molécules. Pour combler cette lacune, nous proposons MolCA : Modélisation grapho-linguistique moléculaire avec projecteur intermodal et adaptateur unimodal. MolCA permet à un modèle de langage (par exemple, Galactica) de comprendre à la fois le contenu moléculaire textuel et graphique grâce au projecteur intermodal. Plus précisément, le projecteur intermodal est mis en œuvre sous forme de Q-Former pour relier l'espace de représentation d'un encodeur graphique et l'espace textuel d'un modèle de langage. De plus, MolCA utilise un adaptateur unimodal (c'est-à-dire LoRA) pour l'adaptation efficace du modèle de langage aux tâches en aval. Contrairement aux études précédentes qui associent un modèle de langage à un encodeur graphique par apprentissage par contraste intermodal, MolCA conserve la capacité du modèle de langage à générer du texte ouvert tout en enrichissant cette capacité avec des informations graphiques 2D. Pour illustrer son efficacité, nous avons évalué MolCA sur une large gamme de tâches, notamment la légendification des molécules, la prédiction des noms IUPAC et la recherche de correspondance entre texte et molécule, où MolCA surpasse considérablement les méthodes de référence. Nos codes source et points de contrôle peuvent être consultés sur https://github.com/acharkq/MolCA.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp