Nous présentons une nouvelle méthode appelée SOLOIST qui utilise l'apprentissage par transfert et l'enseignement machine pour construire des bots de tâches à grande échelle. Nous paramétrons les systèmes de dialogue orientés tâches classiques modulaires en utilisant un modèle de langage auto-régressif basé sur les Transformers, ce qui permet d'intégrer différents modules de dialogue dans un seul modèle neuronal. Nous pré-entraînons, sur des corpus de dialogues hétérogènes, un modèle de génération de réponses ancrées dans la tâche, capable de générer des réponses de dialogue fondées sur les objectifs des utilisateurs et les connaissances du monde réel pour l'accomplissement des tâches. Le modèle pré-entraîné peut être efficacement adapté pour accomplir de nouvelles tâches avec quelques dialogues spécifiques à la tâche via l'enseignement machine, où les échantillons d'entraînement sont générés par des enseignants humains interagissant avec le système. Les expériences montrent que (i) SOLOIST crée de nouveaux états de l'art sur des benchmarks bien étudiés de dialogues orientés tâches, notamment CamRest676 et MultiWOZ ; (ii) dans les configurations d'amélioration fine à faible nombre d'exemples, SOLOIST surpasse significativement les méthodes existantes, et (iii) l'utilisation de l'enseignement machine réduit considérablement le coût d'étiquetage pour l'amélioration fine. Les modèles pré-entraînés et le code source sont disponibles à l'adresse https://aka.ms/soloist.