DÉSIR : Prédiction à Long Terme dans des Scènes Dynamiques avec des Agents Interagissants

Nous présentons un cadre de codage-décodage RNN stochastique en profondeur IOC, appelé DESIRE, pour la tâche de prédiction future de plusieurs agents interactifs dans des scènes dynamiques. DESIRE prédit efficacement les emplacements futurs d'objets dans plusieurs scènes en tenant compte : 1) de la nature multi-modale de la prédiction future (c'est-à-dire, étant donné le même contexte, l'avenir peut varier), 2) des résultats futurs potentiels et en faisant une prédiction stratégique basée sur ces résultats, et 3) non seulement de l'historique du mouvement passé, mais aussi du contexte de la scène ainsi que des interactions entre les agents. DESIRE réalise ces objectifs au sein d'un seul modèle neuronal entièrement entraînable par apprentissage automatique, tout en étant efficace sur le plan computationnel. Le modèle génère d'abord un ensemble diversifié d'échantillons hypothétiques de prédiction future en utilisant un autoencodeur variationnel conditionnel, qui sont ensuite classés et affinés par un module RNN de notation-régression. Les échantillons sont notés en tenant compte des récompenses futures cumulées, ce qui permet de prendre de meilleures décisions stratégiques à long terme similaires aux cadres IOC. Un module RNN de fusion du contexte scénique capture conjointement les historiques du mouvement passé, le contexte sémantique de la scène et les interactions entre plusieurs agents. Un mécanisme de rétroaction itère sur le classement et l'affinement pour améliorer encore davantage la précision des prédictions. Nous évaluons notre modèle sur deux jeux de données publiquement disponibles : KITTI et Stanford Drone Dataset. Nos expériences montrent que le modèle proposé améliore considérablement la précision des prédictions par rapport aux autres méthodes de base.