Bench2Drive: 다중 능력 평가를 위한 폐루프 단계별 자율 주행 벤치마킹

기초 모델의 급속한 확장 시대에 자율 주행 기술이 데이터 구동 방식으로 확장할 수 있는 잠재력을 바탕으로 종단형 자율 주행(E2E-AD)이 변혁적인 임계점에 접근하고 있습니다. 그러나 기존 E2E-AD 방법들은 대부분 L2 오류와 충돌률을 지표로 사용하는 오픈 루프 로그 재생 방식에서 평가되며, 이는 최근 커뮤니티에서 인정된 바와 같이 알고리즘의 주행 성능을 완전히 반영하지 못합니다. 클로즈드 루프 프로토콜 하에서 평가되는 E2E-AD 방법들은 고정된 경로(예: CARLA의 Town05Long 및 Longest6)에서 주행 점수를 지표로 사용하여 테스트되는데, 이는 장거리에서 미끄러짐 함수와 큰 무작위성이 있어 높은 분산을 나타냅니다. 또한 이러한 방법들은 일반적으로 자체 데이터를 수집하여 학습하므로 알고리즘 수준의 공정한 비교가 불가능합니다.Full Self-Driving(FSD)을 위한 포괄적이고 현실적이며 공정한 테스트 환경의 절실한 필요성을 충족하기 위해, 우리는 Bench2Drive를 제시합니다. Bench2Drive는 클로즈드 루프 방식으로 E2E-AD 시스템의 다중 능력을 평가하기 위한 첫 번째 벤치마크입니다. Bench2Drive의 공식 학습 데이터는 44개 상호 작용 시나리오(차선 변경, 추월, 우회 등), 23개 날씨 조건(맑음, 안개, 비 등), 그리고 12개 도시(CARLA v2의 도심, 마을, 대학 등)에서 균일하게 분포된 13638개 짧은 클립으로부터 2백만 개의 완전히 주석이 달린 프레임으로 구성됩니다. 그 평가 프로토콜은 E2E-AD 모델들이 서로 다른 위치와 날씨 조건 하에서 44개 상호 작용 시나리오를 통과해야 하는데, 이는 총 220개 경로를 포함하며 따라서 서로 다른 상황 하에서의 주행 능력에 대해 포괄적이고 분리된 평가를 제공합니다. 우리는 최신 E2E-AD 모델들을 구현하고 Bench2Drive에서 평가하여 현재 상태와 미래 방향에 대한 인사이트를 제공합니다.