Réseau de calibration de modalités adverses pour la recherche de molécules transmodale

La tâche de récupération de molécules à travers les modalités (Text2Mol) vise à combler l’écart sémantique entre les molécules et les descriptions en langage naturel. Une solution à ce problème non trivial repose sur un réseau de convolution de graphe (GCN), une attention cross-modale et un apprentissage contrastif afin d’obtenir des résultats raisonnables. Toutefois, plusieurs limites persistent : 1) le mécanisme d’attention cross-modale favorise uniquement les représentations textuelles et ne fournit pas d’informations utiles pour les représentations moléculaires ; 2) l’encodeur moléculaire basé sur le GCN ignore les caractéristiques des arêtes ainsi que l’importance des différentes sous-structures d’une molécule ; 3) la fonction de perte utilisée pour l’apprentissage de récupération est trop simpliste. Ce papier explore plus en profondeur le problème Text2Mol et propose une nouvelle méthode fondée sur un réseau d’alignement modalité adversaire (AMAN) afin d’apprendre de manière plus complète à la fois les informations des descriptions et celles des molécules. Notre approche utilise un SciBERT comme encodeur de texte et un réseau de transformateur de graphe comme encodeur moléculaire pour générer des représentations multimodales. Ensuite, un réseau adversaire est mis en œuvre pour aligner de manière interactive ces différentes modalités. Parallèlement, une fonction de perte de triplet est employée pour réaliser l’apprentissage de récupération et renforcer davantage l’alignement modalité. Des expériences menées sur le jeu de données ChEBI-20 démontrent l’efficacité de notre méthode AMAN par rapport aux approches de référence.