Les véhicules autonomes devraient évoluer dans des scénarios complexes impliquant plusieurs agents indépendants et non coopératifs. La planification de trajectoire permettant de naviguer en toute sécurité dans de tels environnements ne peut se contenter de percevoir la position et le mouvement actuels des autres agents ; elle nécessite au contraire de prédire ces variables à un horizon suffisamment lointain dans le futur. Dans cet article, nous abordons le problème de la prédiction multimodale de trajectoires en exploitant un réseau de neurones augmenté de mémoire (Memory Augmented Neural Network). Notre méthode apprend des représentations temporelles passées et futures des trajectoires à l’aide de réseaux de neurones récurrents, et utilise une mémoire externe associative pour stocker et récupérer ces représentations. La prédiction de trajectoire est ensuite effectuée en décodant les encodages futurs stockés en mémoire, conditionnés par l’observation du passé. Nous intégrons des connaissances sur la scène dans l’état de décodage en apprenant un réseau de neurones convolutif (CNN) à partir de cartes sémantiques de scène. La croissance de la mémoire est limitée en apprenant un contrôleur d’écriture basé sur la capacité prédictive des encodages existants. Nous montrons que notre méthode est capable de réaliser nativement une prédiction multimodale de trajectoires, obtenant des résultats de pointe sur trois jeux de données. En outre, grâce à la nature non paramétrique du module de mémoire, nous démontrons que, une fois entraînée, notre système peut continuellement s’améliorer en intégrant de nouveaux motifs.