OST-Benchは、上海交通大学、香港大学などの研究機関と上海人工知能研究所が2025年に共同で公開したデータセットで、マルチモーダル大規模モデルのオンライン時空間シーン理解能力を評価するために使用されています。関連する研究論文は「OST-Bench: オンライン時空間シーン理解におけるMLLMの能力評価目標は、オンラインシーン探索、可視情報モデリング、時空間推論タスクにおけるマルチモーダル大規模モデルの包括的な理解能力を評価することです。

このデータセットは、約1,400の現実世界の屋内3Dシーンで構成され、シーン探索プロセスに基づいて約10,000のマルチターンの時系列質疑応答サンプルを生成します。シーンはScanNet、ARKitScenes、Matterport3Dから取得され、統合された3Dオブジェクトとセマンティックアノテーションを用いて処理されます。各シーン内では連続的な視点探索軌跡が構築され、蓄積された可視情報に基づいて対応する質疑応答コンテンツが生成されます。タスク設計は、エージェントの状態、可視情報、エージェントとオブジェクトの空間関係という3つの主要な理解方向をカバーし、15のサブタスクに細分化され、マルチターンの対話形式で提示されます。モデルは、過去の観察と現在の視野に基づいてオンライン時空間推論を実行する必要があります。