DESIRE: 동적 장면에서 상호작용하는 에이전트를 고려한 먼 미래 예측

우리는 다이나믹한 장면에서 여러 상호작용하는 에이전트의 미래 예측을 위한 깊은 확률적 IOC RNN 인코더-디코더 프레임워크인 DESIRE를 소개합니다. DESIRE는 다음과 같은 방법으로 여러 장면에서 객체의 미래 위치를 효과적으로 예측합니다: 1) 미래 예측의 다중 모드 특성을 고려함(즉, 동일한 맥락에서도 미래는 다양할 수 있음), 2) 잠재적인 미래 결과를 예상하고 그 기반으로 전략적인 예측을 수행하며, 3) 과거 운동 이력뿐만 아니라 장면 맥락과 에이전트 간의 상호작용도 고려하여 추론합니다. DESIRE는 이러한 모든 기능을 단일 엔드투엔드 학습 가능한 신경망 모델로 구현하면서도 계산 효율성이 뛰어납니다. 모델은 먼저 조건부 변분 오토인코더를 사용하여 다양한 가설적 미래 예측 샘플 세트를 얻습니다. 이 샘플들은 다음 RNN 점수-회귀 모듈에 의해 순위 매기고 개선됩니다. 샘플들은 누적된 미래 보상을 고려하여 점수가 매겨지며, 이는 IOC 프레임워크와 유사하게 더 나은 장기 전략적 결정을 가능하게 합니다. RNN 장면 맥락 융합 모듈은 여러 에이전트의 과거 운동 이력, 의미론적 장면 맥락 및 상호작용을 공동으로 포착합니다. 피드백 메커니즘은 순위 매기기와 개선 과정을 반복하여 예측 정확도를 더욱 향상시킵니다. 우리는 KITTI와 스탠퍼드 드론 데이터셋 두 가지 공개 데이터셋에서 우리의 모델을 평가했습니다. 실험 결과, 제안된 모델이 다른 베이스라인 방법들보다 예측 정확도가 크게 향상됨을 확인할 수 있었습니다.