SimAug: 시뮬레이션에서의 로버스트 표현 학습을 위한 트래잭터리 예측

이 논문은 새로운 시나리오와 시점에서 미리 보지 못한 카메라 환경에서 사람들의 미래 경로를 예측하는 문제를 다룬다. 우리는 모델이 3D 시뮬레이션 데이터만으로 훈련되며, 다양한 실제 카메라 환경에 즉시 적용 가능한 실데이터 없이(free)의 설정에서 이 문제에 접근한다. 제안하는 새로운 접근법은 시뮬레이션 훈련 데이터를 증강함으로써, 미처 경험하지 못한 실제 환경의 테스트 데이터로 더 잘 일반화할 수 있는 강건한 표현(representation)을 학습하는 것이다. 핵심 아이디어는 가장 어려운 카메라 시점의 특징(feature)을 원래 시점의 적대적 특징(adversarial feature)과 혼합하는 것이다. 본 연구에서 제안하는 방법을 $ \textit{SimAug} $라 한다. 우리는 $ \textit{SimAug} $가 실세계 벤치마크 3개에서 실데이터를 전혀 사용하지 않고도 희망적인 성능을 달성함을 보이며, 도메인 내 훈련 데이터를 사용할 경우 스탠포드 드론(Stanford Drone) 및 VIRAT/ActEV 데이터셋에서 최신 기술(SOTA) 수준의 성능을 기록함을 확인했다. 코드와 모델은 https://next.cs.cmu.edu/simaug 에 공개되어 있다.