تحقيق التحكم الآلي من المستوى الخامس في المركبات ذاتية القيادة يتطلب نظامًا قويًا للاستشعار البصري الدلالي قادر على تحليل البيانات من أجهزة استشعار مختلفة في ظروف متنوعة. ومع ذلك، فإن معظم مجموعات البيانات الحالية للاستشعار الدلالي غالبًا ما تفتقر إلى الأجهزة غير الكاميرات التي يتم استخدامها عادةً في المركبات ذاتية القيادة، أو أنها لا تستغل هذه الأجهزة لمساندة وتحسين التسميات الدلالية في الظروف الصعبة. للتعامل مع هذا الأمر، نقدم MUSES (MUlti-SEnsor Semantic perception dataset)، وهي مجموعة بيانات الاستشعار الدلالي متعددة الأجهزة لقيادة المركبات في ظروف سلبية تحت درجة أعلى من عدم اليقين. تتضمن MUSES تسجيلات متزامنة متعددة الأجهزة مع تسميات بانورامية ثنائية الأبعاد لـ 2500 صورة تم التقاطها في ظروف جوية وإضاءة متنوعة. تقوم المجموعة بتجميع كاميرا الإطار، الليدار، الرادار، كاميرا الأحداث، ومستشعر IMU/GNSS. بروتوكول التسمية البانورامية ذو المرحلتين الجديد لدينا يلتقط عدم اليقين على مستوى الفئة وعلى مستوى الحالة في الحقيقة الأرضية ويتيح مهمة جديدة للتقطيع البانورامي الواعي بعدم اليقين التي نقدمها، بالإضافة إلى التقطيع الدلالي والبانورامي القياسي. تثبت MUSES فعاليتها في تدريب النماذج وفي تحدي تقييمها تحت ظروف بصرية متنوعة، كما أنها تفتح آفاقًا جديدة للبحث في الاستشعار الدلالي الكثيف متعدد الأجهزة والواعي بعدم اليقين. مجموعة البيانات والمقياس الخاصة بنا متاحة بشكل عام على الرابط https://muses.vision.ee.ethz.ch.