MMHU: Ein groß angelegtes multimodales Benchmark für das Verständnis menschlichen Verhaltens

Menschen sind integraler Bestandteil des Verkehrssystems, und das Verständnis ihrer Verhaltensweisen ist entscheidend für die Entwicklung sicherer Fahrzeugsysteme. Obwohl kürzliche Fortschritte verschiedene Aspekte menschlichen Verhaltens untersucht haben – wie Bewegung, Trajektorien und Absichten – fehlt es noch an einem umfassenden Benchmark zur Bewertung des Verständnisses menschlichen Verhaltens im autonomen Fahren. In dieser Arbeit schlagen wir MMHU vor, einen groß angelegten Benchmark für die Analyse menschlichen Verhaltens, der reichhaltige Annotationen enthält, wie Bewegungen und Trajektorien von Menschen, textuelle Beschreibungen von Bewegungen, menschliche Absichten und kritische Verhaltenslabels im Zusammenhang mit der Fahrzeugsicherheit. Unser Datensatz umfasst 57.000 Bewegungsclips und 1,73 Millionen Frames aus verschiedenen Quellen, darunter etablierte Fahrdatensätze wie Waymo, Videos aus dem wilden Internet von YouTube sowie selbst gesammelte Daten. Ein annotierungsprozess mit Mensch im Loop wurde entwickelt, um reichhaltige Verhaltensbeschreibungen zu generieren. Wir bieten eine detaillierte Datensatzanalyse und bewerten mehrere Aufgaben – von Bewegungsvorhersage über Bewegungsgenerierung bis hin zu Fragen zum menschlichen Verhalten – somit stellen wir eine breite Evaluationsumgebung zur Verfügung. Projektseite: https://MMHU-Benchmark.github.io.