MANTRA: Memory Augmented Networks für die mehrfache Trajektorienvorhersage

Autonome Fahrzeuge sollen in komplexen Szenarien mit mehreren unabhängigen, nicht kooperierenden Agenten fahren. Die Pfadplanung für eine sichere Navigation in solchen Umgebungen kann sich nicht allein auf die Wahrnehmung der aktuellen Position und Bewegung anderer Agenten stützen. Stattdessen ist es erforderlich, diese Variablen in ausreichend ferner Zukunft vorherzusagen. In diesem Paper behandeln wir das Problem der multimodalen Trajektorienvorhersage unter Nutzung eines memory-augmentierten neuronalen Netzwerks. Unsere Methode lernt sowohl vergangene als auch zukünftige Trajektorien-Embeddings mittels rekurrenter neuronaler Netze und nutzt ein assoziatives externes Gedächtnis, um diese Embeddings zu speichern und abzurufen. Die Trajektorienvorhersage erfolgt anschließend durch Dekodierung der in-memory gespeicherten zukünftigen Codierungen, bedingt durch die beobachteten Vergangenheitsdaten. Wir integrieren Szenenwissen in den Dekodierzustand, indem wir eine Convolutional Neural Network (CNN) auf semantischen Szenenkarten trainieren. Die Gedächtnisgröße wird durch das Lernen eines Schreibcontrollers begrenzt, der auf der Vorhersagefähigkeit der bereits vorhandenen Embeddings basiert. Wir zeigen, dass unsere Methode natively multimodale Trajektorienvorhersage durchführen kann und auf drei Datensätzen Ergebnisse auf State-of-the-Art-Niveau erzielt. Darüber hinaus demonstrieren wir, dass unser System dank der nicht-parametrischen Natur des Gedächtnismoduls nach der Initialtrainierung kontinuierlich durch die Aufnahme neuer Muster verbessert werden kann.