Chemformer : un modèle transformer pré-entraîné pour la chimie computationnelle

Les modèles Transformer associés à un système simplifié d’entrée de molécules (SMILES) se sont révélés récemment être une combinaison particulièrement puissante pour relever les défis de la chimoinformatique. Toutefois, ces modèles sont souvent conçus spécifiquement pour une seule application et nécessitent des ressources importantes pour leur entraînement. Dans ce travail, nous présentons le modèle Chemformer — un modèle basé sur Transformer capable d’être rapidement appliqué à la fois à des tâches séquence-à-séquence et à des tâches discriminatives en chimoinformatique. Nous montrons également que l’entraînement auto-supervisé préalable améliore les performances et accélère considérablement la convergence sur les tâches ultérieures. Sur des jeux de données de référence pour la prédiction de synthèse directe et de rétro-synthèse, nous obtenons des résultats de pointe en précision au top-1. Nous améliorons également les approches existantes pour une tâche d’optimisation moléculaire, et démontrons que Chemformer peut optimiser simultanément sur plusieurs tâches discriminatives. Les modèles, les jeux de données et le code seront mis à disposition après publication.