Transformer-Netzwerke für die Trajektorienvorhersage

Die jüngsten Erfolge bei der Vorhersage von Menschenbewegungen basieren auf LSTM-Modellen, wobei der größte Fortschritt durch die Modellierung sozialer Interaktionen zwischen Personen sowie der Interaktionen zwischen Personen und der Umgebung erzielt wurde. Wir hinterfragen die Verwendung von LSTM-Modellen und schlagen stattdessen die neuartige Anwendung von Transformer-Netzwerken für die Trajektorienvorhersage vor. Dies stellt einen grundlegenden Wandel dar: von der sequenziellen, schrittweisen Verarbeitung bei LSTMs hin zu einem rein auf Aufmerksamkeit basierenden Gedächtnismechanismus bei Transformern. Insbesondere betrachten wir sowohl das ursprüngliche Transformer-Netzwerk (TF) als auch die erweiterte bidirektionale Variante BERT, die derzeit die State-of-the-Art-Leistung in allen Aufgaben des natürlichen Sprachverstehens erzielt. Unsere vorgeschlagenen Transformer-Modelle prognostizieren die Bewegung einzelner Personen in einer Szene. Diese Modelle sind „einfach“, da jede Person unabhängig voneinander modelliert wird, ohne komplexe Terme für menschliche Interaktionen oder Wechselwirkungen mit der Szene. Insbesondere erzielt das TF-Modell ohne zusätzliche Verbesserungen die beste Bewertung im größten und anspruchsvollsten Benchmark für Trajektorienvorhersage, TrajNet. Zudem zeigt seine Erweiterung, die mehrere plausible zukünftige Trajektorien vorhersagt, eine Leistung, die mit anspruchsvolleren, speziell konstruierten Methoden auf den fünf Datensätzen von ETH + UCY vergleichbar ist. Schließlich demonstrieren wir, dass Transformer auch mit fehlenden Beobachtungen umgehen können, was beispielsweise bei realen Sensordaten der Fall sein kann. Der Quellcode ist unter https://github.com/FGiuliari/Trajectory-Transformer verfügbar.