Traduction entre Molécules et Langage Naturel

Nous présentons MolT5 $-$ un cadre d'apprentissage auto-supervisé pour l'entraînement préalable des modèles sur une grande quantité de texte naturel non étiqueté et de chaînes moléculaires. MolT5 permet de nouvelles, utiles et difficiles analogies des tâches traditionnelles vision-langage, telles que la légendisation moléculaire et la génération de molécules dé novoc basée sur le texte (ensemble : traduction entre les molécules et le langage), que nous explorons pour la première fois. Étant donné que MolT5 entraîne les modèles sur des données mono-modales, il aide à surmonter le problème de pénurie de données dans le domaine de la chimie. De plus, nous considérons plusieurs métriques, y compris une nouvelle métrique basée sur l'embedding croisé-modalité, pour évaluer les tâches de légendisation moléculaire et de génération de molécules basée sur le texte. Nos résultats montrent que les modèles basés sur MolT5 sont capables de générer des sorties, tant moléculaires que textuelles, qui sont souvent de haute qualité.