L’exactitude de nombreuses tâches visiolinguistiques a bénéficié de manière significative de l’application du modèle BERT vision-langage (V&L). Toutefois, son utilisation pour la tâche de navigation vision-langage (VLN) reste limitée. Une des raisons de ce constat réside dans la difficulté d’adapter l’architecture BERT au processus de décision markovien partiellement observable présent dans la VLN, qui exige une attention et une prise de décision dépendantes de l’historique. Dans cet article, nous proposons un modèle BERT récurrent, sensible au temps, destiné à être utilisé dans le cadre de la VLN. Plus précisément, nous équipons le modèle BERT d’une fonction récurrente qui maintient des informations d’état intermodales pour l’agent. À travers des expérimentations étendues sur les jeux de données R2R et REVERIE, nous démontrons que notre modèle peut remplacer des architectures plus complexes à base d’encodeur-décodeur afin d’atteindre des résultats de pointe. En outre, notre approche est généralisable à d’autres architectures fondées sur les transformateurs, supporte le pré-entraînement, et est capable de résoudre simultanément des tâches de navigation et d’expression référentielle.