TransFuser: 자율 주행을 위한 트랜스포머 기반 센서 융합 모방

자율 주행을 위해 보완적인 센서의 표현을 어떻게 통합해야 할까요? 기하학적 융합은 인식(예: 객체 감지, 운동 예측)에서 유망한 결과를 보여주었습니다. 그러나 엔드투엔드(end-to-end) 주행의 맥락에서, 우리는 기존 센서 융합 방법에 기반한 모방 학습이 동적 에이전트가 밀집된 복잡한 주행 상황에서 성능이 부족함을 발견했습니다. 따라서, 우리는 이미지와 LiDAR 표현을 자기 주의(self-attention)를 사용하여 통합하는 메커니즘인 TransFuser를 제안합니다. 우리의 접근 방식은 여러 해상도에서 변환기(transformer) 모듈을 사용하여 시점 뷰(perspective view)와 조감 뷰(bird's eye view) 피처 맵을 융합합니다. 우리는 긴 경로와 밀집된 교통 상황을 포함하는 도전적인 새로운 벤치마크 및 CARLA 도시 주행 시뮬레이터의 공식 리더보드에서 이 메커니즘의 효과를 실험적으로 검증하였습니다. 제출 시점에서, TransFuser는 CARLA 리더보드에서 운전 점수 측면에서 이전 연구보다 크게 우월한 성능을 보였습니다. 기하학적 융합과 비교할 때, TransFuser는 평균 충돌률(kilometer당 충돌 횟수)을 48% 줄였습니다.