准确预测周围交通参与者未来的运动行为，对于保障自动驾驶车辆的安全至关重要。近年来，向量化方法因其能够捕捉交通场景中复杂的交互关系，在运动预测领域占据主导地位。然而，现有方法往往忽视了问题固有的对称性，且计算开销较大，难以在不牺牲预测性能的前提下实现实时的多智能体运动预测。为应对这一挑战，本文提出一种高效且精准的多智能体运动预测模型——分层向量变换器（Hierarchical Vector Transformer, HiVT）。该方法通过将问题分解为局部上下文提取与全局交互建模两个阶段，能够高效且有效地建模场景中大量交通参与者。同时，我们设计了平移不变的场景表征方式与旋转不变的空间学习模块，使特征提取对场景的几何变换具有鲁棒性，从而支持模型在单次前向传播中实现对多个智能体的精确预测。实验结果表明，HiVT在Argoverse运动预测基准上取得了当前最优的性能表现，且模型规模较小，能够实现快速的多智能体运动预测。