FIERY : Prédiction d'instances futures en vue du dessus à partir de caméras monoculaires périphériques

La conduite nécessite d'interagir avec les agents de la route et de prédire leur comportement futur afin de naviguer en toute sécurité. Nous présentons FIERY : un modèle de prédiction probabiliste du futur en vue aérienne à partir de caméras monoculaires. Notre modèle prédit la segmentation d'instances futures et le mouvement des agents dynamiques qui peuvent être transformés en trajectoires futures non paramétriques. Notre approche combine les composants de perception, de fusion sensorielle et de prédiction d'une pile traditionnelle de conduite autonome en estimant directement la prédiction en vue aérienne à partir des entrées des caméras monoculaires environnantes. FIERY apprend à modéliser la nature stochastique inhérente du futur uniquement à partir des données de conduite caméra, dans une approche bout-à-bout, sans s'appuyer sur des cartes HD, et prédit des trajectoires futures multimodales. Nous démontrons que notre modèle surpasse les baselines prédictives précédentes sur les jeux de données NuScenes et Lyft. Le code source et les modèles entraînés sont disponibles à l'adresse suivante : https://github.com/wayveai/fiery.