OST-Bench, 2025 vom Shanghai Artificial Intelligence Laboratory in Zusammenarbeit mit der Shanghai Jiao Tong University, der University of Hong Kong und anderen Institutionen veröffentlicht, ist ein Datensatz zur Evaluierung der Online-Fähigkeiten multimodaler großer Modelle zum räumlich-zeitlichen Szenenverständnis. Die zugehörige Forschungsarbeit trägt den Titel „OST-Bench: Bewertung der Fähigkeiten von MLLMs beim Online-Szenenverständnis im räumlich-zeitlichen KontextZiel ist es, die umfassenden Verständnisfähigkeiten multimodaler großer Modelle bei der Online-Szenenerkundung, der Modellierung sichtbarer Informationen und raumzeitlichen Schlussfolgerungsaufgaben zu bewerten.

Dieser Datensatz umfasst ca. 1.400 reale 3D-Innenraumszenen und generiert auf Basis der Szenenerkundung etwa 10.000 mehrrundige, zeitlich gestaffelte Frage-Antwort-Beispiele. Die Szenen stammen aus ScanNet, ARKitScenes und Matterport3D und wurden mithilfe einheitlicher 3D-Objekt- und semantischer Annotationen verarbeitet. Innerhalb jeder Szene wird eine kontinuierliche Blickwinkel-Erkundungstrajektorie erstellt, und basierend auf den gesammelten sichtbaren Informationen werden entsprechende Frage-Antwort-Inhalte generiert. Die Aufgabenstellung deckt drei zentrale Verständnisaspekte ab: Agentenzustand, sichtbare Informationen und räumliche Beziehungen zwischen Agent und Objekt. Diese sind in 15 Teilaufgaben unterteilt, die in einem mehrrundigen Dialogformat präsentiert werden und vom Modell die Fähigkeit erfordern, online raumzeitliche Schlussfolgerungen auf Basis vergangener Beobachtungen und des aktuellen Sichtfelds zu ziehen.