Vers la recherche text-molécule intermodale avec une meilleure alignement des modalités

Le modèle de recherche croisée texte-molécule vise à apprendre un espace de caractéristiques partagé entre les modalités texte et molécule pour un calcul précis de la similarité, facilitant ainsi le dépistage rapide des molécules possédant des propriétés et activités spécifiques dans la conception de médicaments. Cependant, les travaux précédents présentent deux défauts principaux. Premièrement, ils sont insuffisants pour capturer les caractéristiques partagées entre les modalités en raison du fossé important existant entre les séquences de texte et les graphes moléculaires. Deuxièmement, ils s'appuient principalement sur l'apprentissage par contraste et l'entraînement adverse pour aligner les modalités croisées, ces deux approches se concentrant principalement sur la similarité du premier ordre et négligeant la similarité du second ordre qui peut capturer davantage d'informations structurelles dans l'espace d'embedding.Pour remédier à ces problèmes, nous proposons un nouveau modèle de recherche croisée texte-molécule avec deux améliorations majeures. Plus précisément, au-dessus de deux encodeurs spécifiques aux modalités, nous ajoutons un projecteur de caractéristiques basé sur une banque mémoire contenant des vecteurs mémoire apprenables afin d'extraire mieux les caractéristiques partagées entre les modalités. Plus important encore, pendant l'entraînement du modèle, nous calculons quatre types de distributions de similarité (texte-texte, texte-molécule, molécule-molécule et molécule-texte) pour chaque instance, puis minimisons la distance entre ces distributions de similarité (appelées pertes de similarité du second ordre) pour renforcer l'alignement intermodal.Les résultats expérimentaux et leur analyse démontrent vigoureusement l'efficacité de notre modèle. En particulier, notre modèle atteint des performances SOTA (State Of The Art), surpassant le meilleur résultat précédemment rapporté de 6,4 %.