MANTRA: 다중 경로 예측을 위한 메모리 증강 네트워크

자율주행 차량은 여러 개의 독립적이고 협력하지 않는 에이전트가 존재하는 복잡한 환경에서 주행해야 할 것으로 기대된다. 이러한 환경에서 안전하게 주행하기 위한 경로 계획은 다른 에이전트의 현재 위치와 운동 상태를 인지하는 것만으로는 부족하다. 오히려 이러한 변수들을 충분히 먼 미래까지 예측해야 한다. 본 논문에서는 메모리 증강 신경망(Memory Augmented Neural Network)을 활용하여 다중 모드의 궤적 예측 문제를 다룬다. 제안하는 방법은 순환 신경망을 사용해 과거 및 미래 궤적의 임베딩을 학습하고, 연관성 기반 외부 메모리를 활용해 이러한 임베딩을 저장하고 검색한다. 이후, 관측된 과거 정보를 조건으로 하여 메모리 내에 저장된 미래 임베딩을 디코딩함으로써 궤적 예측을 수행한다. 또한, 의미론적 장면 맵 위에 컨볼루션 신경망(CNN)을 학습시켜 장면 지식을 디코딩 상태에 통합한다. 기존 임베딩의 예측 능력을 기반으로 쓰기 컨트롤러를 학습함으로써 메모리의 성장이 제한된다. 제안된 방법이 세 가지 데이터셋에서 최신 기술 수준의 성능을 달성하며, 자연스럽게 다중 모드 궤적 예측을 수행할 수 있음을 보여준다. 또한, 메모리 모듈의 비매개변수적 성질 덕분에, 학습이 완료된 후에도 새로운 패턴을 지속적으로 수용함으로써 시스템이 지속적으로 개선될 수 있음을 입증한다.