Nous introduisons une nouvelle approche pour les transformateurs, permettant d’apprendre des représentations hiérarchiques dans les dialogues multipartites. Tout d’abord, trois tâches de modélisation du langage sont utilisées pour pré-entraîner les transformateurs : la modélisation du langage au niveau des tokens, celle au niveau des énoncés, ainsi que la prédiction de l’ordre des énoncés. Ces tâches permettent d’apprendre simultanément des embeddings au niveau des tokens et des énoncés, favorisant ainsi une meilleure compréhension dans les contextes dialogiques. Ensuite, un apprentissage multi-tâches est appliqué entre la prédiction d’énoncés et celle des spans de tokens afin de fin-entraîner le modèle pour une question-réponse basée sur les spans (span-based QA). Notre approche est évaluée sur le jeu de données FriendsQA, où elle obtient des améliorations respectives de 3,8 % et 1,4 % par rapport aux deux modèles de transformateurs d’avant-garde, BERT et RoBERTa.