SoPhie: Ein aufmerksames GAN zur Vorhersage von Pfaden, die sozialen und physikalischen Einschränkungen entsprechen

Dieses Papier behandelt das Problem der Pfadvorhersage für mehrere interagierende Agenten in einer Szene, was ein entscheidender Schritt für viele autonome Plattformen wie selbstfahrende Autos und soziale Roboter ist. Wir stellen \textit{SoPhie} vor; einen interpretierbaren Rahmen basierend auf einem Generativen Wettbewerbsnetzwerk (Generative Adversarial Network, GAN), das zwei Informationsquellen nutzt: die Pfadhistorie aller Agenten in einer Szene und die Kontextinformationen der Szene, die durch Bilder dargestellt werden. Um eine zukünftige Route für einen Agenten vorherzusagen, müssen sowohl physische als auch soziale Informationen genutzt werden. Frühere Arbeiten sind dabei nicht erfolgreich gewesen, physische und soziale Interaktionen gemeinsam zu modellieren. Unser Ansatz kombiniert ein soziales Aufmerksamkeitsmechanismus mit einem physischen Aufmerksamkeitsmechanismus, der dem Modell hilft, in einer großen Szene zu erkennen, wo es hinschauen soll, und die wichtigsten Teile des Bildes zu extrahieren, die für den Pfad relevant sind. Der soziale Aufmerksamkeitskomponente aggregiert Informationen über verschiedene Agenteninteraktionen und extrahiert die wichtigsten Trajektorieninformationen aus den umliegenden Nachbarn. SoPhie nutzt außerdem GANs, um realistischere Stichproben zu generieren und die unsichere Natur zukünftiger Pfade durch Modellierung ihrer Verteilung zu erfassen. Alle diese Mechanismen ermöglichen unserem Ansatz, sowohl sozial als auch physikalisch plausible Pfade für die Agenten vorherzusagen und Spitzenleistungen bei verschiedenen Benchmarks zur Trajektorienprognose zu erzielen.