SimAug: Lernen robuster Darstellungen aus Simulationen für die Trajektorienvorhersage

Diese Arbeit untersucht das Problem der Vorhersage zukünftiger Trajektorien von Personen in bisher nicht gesehenen Kameras unter neuen Szenarien und Blickwinkeln. Wir nähern dieses Problem im sogenannten „real-data-free“-Setting an, bei dem das Modell ausschließlich auf 3D-Simulationsdaten trainiert wird und anschließend direkt ohne weitere Anpassung auf eine Vielzahl realer Kameras angewendet werden kann. Wir stellen einen neuen Ansatz vor, um robuste Darstellungen zu lernen, indem die Simulationsdaten durch gezielte Augmentierung erweitert werden, sodass die Darstellung besser auf bisher unbekannte reale Testdaten generalisieren kann. Der zentrale Gedanke besteht darin, die Merkmale der schwierigsten Kameraperspektive mit den adversarialen Merkmalen der ursprünglichen Perspektive zu mischen. Wir bezeichnen unseren Ansatz als $ extit{SimAug}$. Wir zeigen, dass $ extit{SimAug}$ auf drei realen Benchmark-Datensätzen ohne jegliche reale Trainingsdaten vielversprechende Ergebnisse erzielt und state-of-the-art-Leistungen sowohl im Stanford Drone-Datensatz als auch im VIRAT/ActEV-Datensatz erzielt, wenn in-domain Trainingsdaten verwendet werden. Der Quellcode und die Modelle sind unter https://next.cs.cmu.edu/simaug verfügbar.