La modélisation efficace des interactions humaines est d'une importance capitale lorsqu'il s'agit de prédire des comportements tels que les trajectoires futures. Chaque individu, par son mouvement, influence les agents environnants, car chacun obéit à des règles sociales implicites, telles que l'évitement des collisions ou le suivi de groupe. Dans cet article, nous modélisons ces interactions, qui évoluent constamment au fil du temps, en adoptant une perspective algorithmique, c’est-à-dire en les considérant comme une tâche de manipulation de données. Nous proposons un réseau de neurones basé sur une mémoire de travail entraînable end-to-end, agissant comme un stockage externe permettant d’écrire, de mettre à jour et de rappeler continuellement des informations relatives à chaque agent. Nous démontrons que notre méthode est capable d’apprendre des relations causales explicables entre les mouvements des différents agents, atteignant des résultats de pointe sur plusieurs jeux de données de prédiction de trajectoires.