HyperAIHyperAI

Command Palette

Search for a command to run...

Vers la recherche text-molécule intermodale avec une meilleure alignement des modalités

Jia Song Wanru Zhuang Yujie Lin Liang Zhang Chunyan Li Jinsong Su† Song He† Xiaochen Bo†

Résumé

Le modèle de recherche croisée texte-molécule vise à apprendre un espace de caractéristiques partagé entre les modalités texte et molécule pour un calcul précis de la similarité, facilitant ainsi le dépistage rapide des molécules possédant des propriétés et activités spécifiques dans la conception de médicaments. Cependant, les travaux précédents présentent deux défauts principaux. Premièrement, ils sont insuffisants pour capturer les caractéristiques partagées entre les modalités en raison du fossé important existant entre les séquences de texte et les graphes moléculaires. Deuxièmement, ils s'appuient principalement sur l'apprentissage par contraste et l'entraînement adverse pour aligner les modalités croisées, ces deux approches se concentrant principalement sur la similarité du premier ordre et négligeant la similarité du second ordre qui peut capturer davantage d'informations structurelles dans l'espace d'embedding.Pour remédier à ces problèmes, nous proposons un nouveau modèle de recherche croisée texte-molécule avec deux améliorations majeures. Plus précisément, au-dessus de deux encodeurs spécifiques aux modalités, nous ajoutons un projecteur de caractéristiques basé sur une banque mémoire contenant des vecteurs mémoire apprenables afin d'extraire mieux les caractéristiques partagées entre les modalités. Plus important encore, pendant l'entraînement du modèle, nous calculons quatre types de distributions de similarité (texte-texte, texte-molécule, molécule-molécule et molécule-texte) pour chaque instance, puis minimisons la distance entre ces distributions de similarité (appelées pertes de similarité du second ordre) pour renforcer l'alignement intermodal.Les résultats expérimentaux et leur analyse démontrent vigoureusement l'efficacité de notre modèle. En particulier, notre modèle atteint des performances SOTA (State Of The Art), surpassant le meilleur résultat précédemment rapporté de 6,4 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp