2 个月前

SoPhie:一种注意机制驱动的GAN,用于预测符合社会和物理约束的路径

Amir Sadeghian; Vineet Kosaraju; Ali Sadeghian; Noriaki Hirose; S. Hamid Rezatofighi; Silvio Savarese
SoPhie:一种注意机制驱动的GAN,用于预测符合社会和物理约束的路径
摘要

本文探讨了场景中多个交互代理的路径预测问题,这是许多自主平台(如自动驾驶汽车和社会机器人)的关键步骤。我们提出了\textit{SoPhie};一种基于生成对抗网络(Generative Adversarial Network, GAN)的可解释框架,该框架利用了两种信息来源:场景中所有代理的路径历史以及场景上下文信息(通过场景图像获取)。为了预测某个代理的未来路径,必须同时利用物理和社会信息。以往的研究未能成功地联合建模物理和社会互动。我们的方法将社会注意力机制与物理注意力机制相结合,帮助模型在大场景中确定观察的重点,并提取与路径最相关的图像部分。而社会注意力组件则汇聚不同代理之间的交互信息,并从周围邻居中提取最重要的轨迹信息。此外,\textit{SoPhie}还利用GAN生成更真实的样本,并通过建模未来路径的分布来捕捉其不确定性质。这些机制使我们的方法能够为代理预测符合社会和物理规律的路径,并在多个不同的轨迹预测基准上达到最先进的性能。