WaterScenes: 자율 주행을 위한 수면 상에서의 다중 작업형 4D 레이더-카메라 융합 데이터셋 및 벤치마크

물 표면에서의 자율 주행은 해상 감시, 생존자 구조, 환경 모니터링, 수문 측량 및 폐기물 정화와 같은 위험하고 시간이 많이 소요되는 임무를 수행하는 데 핵심적인 역할을 한다. 본 연구는 물 표면에서의 자율 주행을 위한 최초의 다중 작업형 4D 레이더-카메라 융합 데이터셋인 WaterScenes를 제안한다. 4D 레이더와 단안 카메라를 탑재한 무인 표면 차량(Unmanned Surface Vehicle, USV)은 물 표면 상의 물체에 대한 색상, 형태, 질감, 거리, 속도, 방위각, 고도 등 다양한 정보를 전천후 환경에서 정확히 인식할 수 있는 솔루션을 제공한다. 특히 물 표면에서 흔히 관찰되는 정적 및 동적 물체를 중심으로, 카메라 이미지에는 픽셀 단위, 레이더 포인트 클라우드에는 포인트 단위로 레이블링을 수행하였다. 기본적인 인지 작업인 물체 탐지, 인스턴스 세그멘테이션, 세분류 세그멘테이션 외에도, 자유 공간 세그멘테이션 및 수면선 세그멘테이션에 대한 레이블도 제공한다. 다중 작업 및 다중 모달 데이터를 활용하여, 레이더 및 카메라의 단일 모달과 융합된 모달에 대한 벤치마크 실험을 수행하였다. 실험 결과, 4D 레이더-카메라 융합 기술이 물 표면에서의 인지 성능을 상당히 향상시키며, 특히 악천후 및 불량 조명 조건에서도 뛰어난 정확성과 강건성을 보임을 입증하였다. WaterScenes 데이터셋은 공개되어 있으며, https://waterscenes.github.io 에서 확인할 수 있다.