DriveTransformer: 확장 가능한 엔드투엔드 자율 주행을 위한 통합 트랜스포머

엔드투엔드 자율주행(E2E-AD)은 자율주행 분야에서 새로운 트렌드로 부상하며, 데이터 기반이고 확장 가능한 시스템 설계 방식을 약속하고 있다. 그러나 기존의 E2E-AD 기법들은 일반적으로 인지-예측-계획 순차적 파라다임을 채택하고 있어 누적 오류와 학습 불안정성을 초래한다. 또한 작업 간의 수동적인 순서 부여는 작업 간 상호보완적 상호작용(예: 계획 인식 기반의 인지, 게임 이론 기반의 상호작용 예측 및 계획)을 활용할 수 있는 능력을 제한한다. 더불어 기존 기법들이 채택하는 밀도 높은 BEV( Birds-Eye View) 표현 방식은 장거리 인지 및 장기적 시계열 융합에 있어 계산적 부담을 초래한다. 이러한 문제를 해결하기 위해, 우리는 확장성 향상을 위한 간소화된 E2E-AD 프레임워크인 DriveTransformer를 제안한다. 이 프레임워크는 세 가지 핵심 특징을 갖는다: 1) 작업 병렬성(모든 에이전트, 지도 정보, 계획 쿼리가 각 블록에서 서로 직접 상호작용), 2) 희소 표현(작업 쿼리가 원시 센서 특징과 직접 상호작용), 3) 스트리밍 처리(작업 쿼리는 과거 정보로 저장 및 전달됨). 이러한 설계 덕분에 새로운 프레임워크는 작업 자기 주의(attention), 센서 교차 주의, 시계열 교차 주의라는 세 가지 통합된 연산으로 구성되며, 시스템의 복잡성을 크게 감소시켜 학습 안정성을 향상시킨다. DriveTransformer는 시뮬레이션 폐루프 벤치마크 Bench2Drive와 실세계 개루프 벤치마크 nuScenes 모두에서 최신 기술 수준의 성능을 달성하며, 높은 FPS를 유지한다.