Unification des représentations moléculaires et textuelles par le biais du modèle de langage multi-tâches

Les récentes avancées dans les modèles de langage neuronaux ont également été appliquées avec succès au domaine de la chimie, offrant des solutions génératives pour des problèmes classiques en conception moléculaire et en planification de synthèse. Ces nouvelles méthodes ont le potentiel d'entraîner une nouvelle ère d'automatisation guidée par les données dans la découverte scientifique. Cependant, des modèles spécialisés sont encore généralement nécessaires pour chaque tâche, ce qui entraîne le besoin d'un ajustement fin spécifique à chaque problème et néglige les relations entre les tâches. L'obstacle principal dans ce domaine est l'absence d'une représentation unifiée entre le langage naturel et les représentations chimiques, compliquant et limitant l'interaction homme-machine. Ici, nous proposons le premier modèle de langage multi-domaines et multi-tâches capable de résoudre une large gamme de tâches dans les domaines chimique et du langage naturel. Notre modèle peut traiter simultanément le langage chimique et le langage naturel, sans nécessiter un pré-entraînement coûteux sur des domaines individuels ou des modèles spécifiques à chaque tâche. De manière intéressante, le partage des poids entre les domaines améliore remarquablement notre modèle lorsqu'il est évalué par rapport aux baselines de pointe sur des tâches mono-domaine et multi-domaine. En particulier, le partage d'informations entre les domaines et les tâches entraîne d'importantes améliorations dans les tâches multi-domaine, dont l'ampleur augmente avec l'échelle, comme mesuré par plus d'une douzaine de métriques pertinentes. Notre travail suggère que ces modèles peuvent accélérer de manière robuste et efficace la découverte dans les sciences physiques en remplaçant l'ajustement fin spécifique à chaque problème et en améliorant l'interaction homme-modèle.