Das Weg voraus erschaffen: Mehragenten-Trajektorienvorhersage mittels differenzierbarer Simulation

Wir entwickeln ein tiefes generatives Modell, das auf einem vollständig differenzierbaren Simulator für die Trajektorienvorhersage mehrerer Agenten basiert. Die Agenten werden mit bedingten rekurrenten variationalen neuronalen Netzen (CVRNNs) modelliert, die als Eingabe ein egozentrisches Vogelperspektivbild erhalten, das den aktuellen Zustand der Welt darstellt, und als Ausgabe eine Aktion – bestehend aus Lenkung und Beschleunigung – liefern, die zur Ableitung des nachfolgenden Zustands des Agenten mittels eines kinematischen Fahrradmodells verwendet wird. Der gesamte Simulationszustand wird anschließend differenzierbar für jeden Agenten gerendert, wodurch der nächste Zeitschritt initiiert wird. Wir erzielen state-of-the-art-Ergebnisse auf dem INTERACTION-Datensatz, wobei wir standardmäßige neuronale Architekturen und ein herkömmliches variationales Trainingsziel verwenden, wodurch realistische mehrmodale Vorhersagen ohne jegliche ad-hoc-Diversitätsfördernde Verlustfunktionen erzeugt werden. Wir führen Ablationsstudien durch, um die einzelnen Komponenten des Simulators zu analysieren, und finden, dass sowohl das kinematische Fahrradmodell als auch der kontinuierliche Feedback-Bezug aus dem Vogelperspektivbild entscheidend für die Erreichung dieses Leistungslevels sind. Wir nennen unser Modell ITRA, abgeleitet von „Imagining the Road Ahead“ (Die Straße vor uns vorstellen).