nuScenes에서 엔드투엔드 자율주행의 오픈루프 평가 재고하기

현대의 자율주행 시스템은 일반적으로 세 가지 주요 작업으로 나뉜다: 감지(perception), 예측(prediction), 계획(planning). 계획 작업은 내부적 의도와 외부 환경의 입력을 기반으로 자율주행 차량(에고 차량)의 궤적을 예측하고, 이를 바탕으로 차량을 조작하는 것을 포함한다. 기존의 대부분의 연구들은 nuScenes 데이터셋에서 예측된 궤적과 참값 사이의 L2 오차와 충돌률을 사용하여 성능을 평가한다. 본 논문에서는 이러한 기존 평가 지표의 타당성을 재검토하고, 다양한 방법 간의 우수성을 정확히 측정하는지 여부를 탐구한다. 구체적으로, 카메라 이미지나 LiDAR와 같은 감지 또는 예측 정보를 사용하지 않고, 원시 센서 데이터(예: 과거 궤적, 속도 등)를 입력으로 받아 에고 차량의 미래 궤적을 직접 출력하는 MLP 기반의 간단한 방법을 설계하였다. 본 연구에서 제안하는 간단한 방법은 감지 기반의 기존 방법들과 비교하여 nuScenes 데이터셋에서 유사한 엔드투엔드 계획 성능을 달성하였으며, 평균 L2 오차를 약 20% 감소시켰다. 한편, 감지 기반의 방법은 충돌률 측면에서 우위를 보였다. 추가적으로 우리는 nuScenes 데이터셋에서 계획 작업 성공에 핵심적인 요인들을 심층적으로 분석하고, 새로운 통찰을 제시한다. 또한, 본 연구의 관찰 결과는 nuScenes에서의 현재 엔드투엔드 자율주행 시스템에 대한 오픈 루프 평가 방식을 재고할 필요가 있음을 시사한다. 코드는 https://github.com/E2E-AD/AD-MLP 에서 제공된다.