DriveAdapter: End-to-End 자율주행에서 인식과 계획의 결합 장벽 극복

엔드투엔드 자율주행은 원시 센서 데이터를 입력으로 받아 차량의 계획된 궤적이나 제어 신호를 직접 출력하는 완전히 미분 가능한 시스템을 구축하는 것을 목표로 합니다. 최신 방법들은 일반적으로 '교사-학생' 패러다임을 따릅니다. 교사 모델은 주변 에이전트와 맵 요소의 지상 진리 상태(ground-truth states)와 같은 특권 정보(privileged information)를 사용하여 운전 전략을 학습합니다. 학생 모델은 원시 센서 데이터에만 접근할 수 있으며, 교사 모델이 수집한 데이터에서 행동 복제(behavior cloning)를 수행합니다. 기획 학습 과정에서 인식 부분의 노이즈를 제거함으로써, 최신 연구들은 결합된 방법론들보다 훨씬 적은 데이터로 더 우수한 성능을 달성할 수 있었습니다.그러나 현재의 '교사-학생' 패러다임 하에서는, 학생 모델이 여전히 계획 부분을 처음부터 다시 학습해야 하는데, 이는 원시 센서 입력의 중복성과 노이즈, 그리고 행동 복제의 인과 관계 혼동 문제(causal confusion issue) 때문에 어려울 수 있습니다. 본 연구에서는 강력한 교사 모델을 직접 활용하여 계획을 수행하면서 학생 모델이 인식 부분에 더 집중하도록 하는 가능성을 탐구하고자 합니다. 우리는 심지어 최신 인식 모델(SOTA perception model)을 사용하더라도, 학생 모델이 교사 모델이 필요로 하는 입력들을 직접 학습하는 것은 빈번한 분포 차이(distribution gap)로 인해 저조한 운전 성능을 초래한다는 것을 발견했습니다.이를 해결하기 위해, 우리는 DriveAdapter를 제안합니다. 이는 학생(인식) 모듈과 교사(계획) 모듈 간의 특징 정렬(feature alignment) 목적 함수를 사용하는 어댑터(adapters)를 활용합니다. 또한 순수하게 학습 기반인 교사 모델 자체가 불완전하며 가끔 안전 규칙을 위반하는 경우가 있어, 이러한 불완전한 교사 특징들에 대한 마스크(mask)를 사용하여 행동 안내(action-guided feature learning) 방식의 특징 학습 방법을 제안하였습니다. 이를 통해 수작업으로 설계된 규칙(hand-crafted rules)의 사전 정보(priors)를 학습 과정에 더욱 효과적으로 주입할 수 있습니다.