AgentFormer: Agent-aware Transformers für sozio-zeitliche Multi-Agenten-Vorhersage

Die präzise Vorhersage zukünftiger Trajektorien mehrerer Agenten ist für autonome Systeme von entscheidender Bedeutung, stellt jedoch aufgrund der komplexen Interaktion zwischen Agenten und der Unsicherheit in deren zukünftigem Verhalten eine große Herausforderung dar. Die Vorhersage mehrerer Trajektorien erfordert die Modellierung zweier zentraler Dimensionen: (1) die zeitliche Dimension, bei der der Einfluss vergangener Zustände eines Agents auf zukünftige Zustände modelliert wird; (2) die soziale Dimension, bei der untersucht wird, wie der Zustand eines Agents die Zustände anderer Agenten beeinflusst. Die meisten bisherigen Ansätze modellieren diese beiden Dimensionen getrennt: Zunächst wird ein zeitlicher Modellierungsansatz verwendet, um für jeden Agenten unabhängig über die Zeit hinweg Merkmale zu summarisieren, gefolgt von einem sozialen Modell, das die Interaktion zwischen diesen summarisierten Merkmalen abbildet. Dieser Ansatz ist suboptimal, da eine unabhängige Merkmalscodierung entweder entlang der Zeit- oder der sozialen Dimension zu Informationsverlust führen kann. Stattdessen bevorzugen wir einen Ansatz, bei dem der Zustand eines Agents zu einem bestimmten Zeitpunkt direkt auf den Zustand eines anderen Agents zu einem späteren Zeitpunkt wirken kann. Hierfür stellen wir einen neuen Transformer, namens AgentFormer, vor, der die zeitliche und soziale Dimension gemeinsam modelliert. Das Modell nutzt eine Sequenzrepräsentation mehrerer Agenten-Trajektorien, indem es die Trajektorienmerkmale über Zeit und Agenten hinweg flachlegt. Da herkömmliche Aufmerksamkeitsoperationen die Identität der einzelnen Elemente in der Sequenz ignorieren, verwendet AgentFormer eine neuartige, agentenbewusste Aufmerksamkeitsmechanik, die die Agentenidentitäten bewahrt, indem sie Elemente desselben Agenten anders behandelt als Elemente anderer Agenten. Auf Basis von AgentFormer entwickeln wir ein stochastisches Modell zur Vorhersage mehrerer Trajektorien, das bei der Schätzung der zukünftigen Position eines Agents auf Merkmale jedes beliebigen Agents zu jeder vorherigen Zeiteinheit zugreifen kann. Zudem wird die latente Absicht aller Agenten gemeinsam modelliert, sodass die Stochastik im Verhalten eines Agents auch die anderen Agenten beeinflussen kann. Unser Ansatz verbessert die derzeitigen State-of-the-Art-Ergebnisse erheblich auf etablierten Datensätzen für Fußgänger und autonome Fahrzeuge.