HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau de calibration de modalités adverses pour la recherche de molécules transmodale

Jinjun Chen Kai Zhang Buqing Cao Dong Zhou Wenyu Zhao

Résumé

La tâche de récupération de molécules à travers les modalités (Text2Mol) vise à combler l’écart sémantique entre les molécules et les descriptions en langage naturel. Une solution à ce problème non trivial repose sur un réseau de convolution de graphe (GCN), une attention cross-modale et un apprentissage contrastif afin d’obtenir des résultats raisonnables. Toutefois, plusieurs limites persistent : 1) le mécanisme d’attention cross-modale favorise uniquement les représentations textuelles et ne fournit pas d’informations utiles pour les représentations moléculaires ; 2) l’encodeur moléculaire basé sur le GCN ignore les caractéristiques des arêtes ainsi que l’importance des différentes sous-structures d’une molécule ; 3) la fonction de perte utilisée pour l’apprentissage de récupération est trop simpliste. Ce papier explore plus en profondeur le problème Text2Mol et propose une nouvelle méthode fondée sur un réseau d’alignement modalité adversaire (AMAN) afin d’apprendre de manière plus complète à la fois les informations des descriptions et celles des molécules. Notre approche utilise un SciBERT comme encodeur de texte et un réseau de transformateur de graphe comme encodeur moléculaire pour générer des représentations multimodales. Ensuite, un réseau adversaire est mis en œuvre pour aligner de manière interactive ces différentes modalités. Parallèlement, une fonction de perte de triplet est employée pour réaliser l’apprentissage de récupération et renforcer davantage l’alignement modalité. Des expériences menées sur le jeu de données ChEBI-20 démontrent l’efficacité de notre méthode AMAN par rapport aux approches de référence.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp