自動車のレベル5の運転自動化を達成するためには、異なるセンサーからのデータを多様な条件下で解析できる堅牢な意味的な視覚認識システムが必要です。しかし、既存の意味的な認識データセットは、通常自動車で使用される重要な非カメラモダリティを欠いているか、またはそのようなモダリティを活用して困難な条件下での意味的なアノテーションを補完・改善することに十分に利用されていません。この問題に対処するために、私たちはMUSES（MUlti-SEnsor Semantic perception dataset for driving in adverse conditions under increased uncertainty）を導入します。MUSESは、多様な天候と照明条件の下で撮影された2500枚の画像に対して2Dパノプティックアノテーションが付与された同期されたマルチモーダル記録を含んでいます。このデータセットは、フレームカメラ、LiDAR（ライダー）、レーダー、イベントカメラ、IMU/GNSSセンサーを統合しています。私たちが開発した新しい二段階パノプティックアノテーションプロトコルは、真値におけるクラスレベルおよびインスタンスレベルの不確実性を捕捉し、標準的な意味分割とパノプティック分割に加えて、私たちは導入する新しいタスクである不確実性対応パノプティックセグメンテーションを可能にします。MUSESは、多様な視覚条件下でのモデルの学習と評価において効果的でありつつも挑戦的であり、マルチモーダルおよび不確実性対応の密集した意味認識に関する研究の新たな道を開きます。当社のデータセットとベンチマークは公開されており、https://muses.vision.ee.ethz.ch からアクセスできます。