Prédire avec précision les mouvements futurs des agents de circulation environnants est essentiel pour garantir la sécurité des véhicules autonomes. Récemment, les approches vectorisées ont dominé le domaine de la prédiction du mouvement grâce à leur capacité à capturer des interactions complexes dans les scènes de circulation. Toutefois, les méthodes existantes négligent les symétries inhérentes au problème et souffrent d’un coût computationnel élevé, ce qui constitue un défi pour réaliser une prédiction en temps réel de plusieurs agents sans compromettre la performance. Pour relever ce défi, nous proposons HiVT (Hierarchical Vector Transformer), une méthode rapide et précise pour la prédiction du mouvement multi-agents. En décomposant le problème en deux étapes — extraction du contexte local et modélisation des interactions globales — notre approche permet de modéliser efficacement et de manière performante un grand nombre d’agents présents dans la scène. Par ailleurs, nous introduisons une représentation de scène invariante aux translations et des modules d’apprentissage spatial invariants aux rotations, qui extraient des caractéristiques robustes aux transformations géométriques de la scène, permettant ainsi au modèle de produire des prédictions précises pour plusieurs agents en une seule passe forward. Les expériences montrent que HiVT atteint un état de l’art sur le benchmark Argoverse pour la prévision du mouvement, avec une taille de modèle réduite, tout en permettant une prédiction rapide du mouvement multi-agents.