MUSES: 불확실한 주행 환경에서 다중 센서 의미 인식 데이터셋

자율 주행 차량에서 5단계 주행 자동화를 달성하기 위해서는 다양한 조건에서 여러 센서의 데이터를 해석할 수 있는 견고한 의미 시각 인식 시스템이 필요합니다. 그러나 기존의 의미 인식 데이터셋은 자율 주행 차량에서 일반적으로 사용되는 중요한 비카메라 모달리티를 포함하지 않거나, 이러한 모달리티를 활용하여 어려운 조건에서 의미 주석을 보조하고 개선하는 데 충분히 활용하지 못하고 있습니다. 이를 해결하기 위해, 우리는 MUSES(MUlti-SEnsor Semantic perception dataset for driving in adverse conditions under increased uncertainty)를 소개합니다. MUSES는 다양한 날씨와 조명 조건 하에 촬영된 2500장의 이미지에 대한 2D 팬옵틱 주석을 포함하는 동기화된 다중 모달 레코딩을 제공합니다. 이 데이터셋은 프레임 카메라, LiDAR, 레이다, 이벤트 카메라, 그리고 IMU/GNSS 센서를 통합합니다. 우리의 새로운 두 단계 팬옵틱 주석 프로토콜은 지면 진리에서 클래스 수준과 인스턴스 수준의 불확실성을 포착하며, 표준 의미 분할과 팬옵틱 분할뿐만 아니라 우리가 제안하는 새로운 불확실성 인식 팬옵틱 분할 작업을 가능하게 합니다. MUSES는 다양한 시각 조건 하에서 모델을 훈련시키고 평가하는 데 효과적이면서도 도전적인 것으로 입증되었으며, 다중 모달 및 불확실성 인식 밀도 의미 인식 연구의 새로운 방향을 열어줍니다. 우리의 데이터셋과 벤치마크는 공개적으로 이용 가능하며, 다음 링크에서 확인하실 수 있습니다: https://muses.vision.ee.ethz.ch.