판오틱 누스센스: LiDAR 판오틱 세그멘테이션 및 트래킹을 위한 대규모 벤치마크

도시 환경에서 로봇 및 자율 주행 차량이 안정적으로 주행하기 위해서는 동적 에이전트에 대한 포괄적인 장면 이해 및 추적 기술이 필수적이다. LiDAR는 조도에 영향을 받지 않는 정확한 기하학적 장면 표현을 제공하므로, LiDAR 포인트 클라우드를 활용한 이러한 작업 수행은 신뢰할 수 있는 예측을 가능하게 한다. 그러나 기존의 데이터셋은 도시 장면의 다양성이 부족하고, 동적 객체 인스턴스의 수가 제한적이어서 이러한 작업의 학습 및 개발된 방법의 신뢰성 있는 벤치마킹을 방해하고 있다. 본 논문에서는 기존에 널리 사용되는 nuScenes 데이터셋을 확장하여, 의미 분할, 포괄적 분할, 포괄적 추적 작업에 대한 포인트 수준의 정답 레이블을 포함한 대규모 포괄적 nuScenes 벤치마크 데이터셋을 제안한다. 비교를 용이하게 하기 위해 제안된 데이터셋을 기반으로 각 작업에 대해 여러 강력한 베이스라인 모델을 제공한다. 또한 기존 포괄적 추적 평가 지표의 한계를 분석하고, 인스턴스 중심의 새로운 PAT 지표를 제안하여 이러한 문제를 해결한다. 기존 데이터셋과 비교하여 포괄적 nuScenes의 유용성을 입증하는 광범위한 실험을 수행하였으며, 온라인 평가 서버를 nuScenes.org에서 제공한다. 우리는 이 확장이 동적 도시 환경의 장면 이해를 위한 새로운 방법 연구를 가속화할 것이라고 믿는다.