Les modèles sequence-to-sequence ont été appliqués à une grande variété de tâches de traitement du langage naturel, mais l’utilisation optimale de ces modèles pour le suivi d’état de dialogue n’a pas encore été systématiquement explorée. Dans cet article, nous étudions ce problème sous l’angle des objectifs de pré-entraînement ainsi que des formats de représentation du contexte. Nous démontrons que le choix de l’objectif de pré-entraînement a un impact significatif sur la qualité du suivi d’état. En particulier, nous constatons que la prédiction de segments masqués est plus efficace que le modèle de langage auto-régressif. Nous explorons également l’utilisation de Pegasus, un objectif de pré-entraînement basé sur la prédiction de segments conçu pour la résumé de texte, dans le cadre du suivi d’état de dialogue. Nos résultats montrent que le pré-entraînement sur une tâche apparemment éloignée comme la résumé de texte se révèle étonnamment performant pour le suivi d’état de dialogue. En outre, bien que la représentation récurrente de l’état du contexte fonctionne également de manière raisonnable, le modèle peut éprouver des difficultés à se remettre des erreurs commises plus tôt. Des expériences ont été menées sur les jeux de données MultiWOZ 2.1-2.4, WOZ 2.0 et DSTC2, avec des observations cohérentes.