Les progrès réalisés vers des systèmes avancés d'aide à la conduite et de conduite autonome s'appuient sur les récentes avancées dans les méthodes de reconnaissance et de segmentation. Cependant, nous sommes toujours confrontés à des défis pour assurer une conduite fiable en milieu urbain, où les scènes sont hautement dynamiques et observées depuis une plateforme mobile à des vitesses considérables. L'anticipation devient un élément clé pour réagir à temps et prévenir les accidents. Dans cet article, nous soutenons qu'il est nécessaire de prédire au moins 1 seconde, et nous proposons donc un nouveau modèle qui prédit conjointement le mouvement égocentrique (ego motion) et les trajectoires des piétons sur de tels horizons temporels importants. Nous portons une attention particulière à la modélisation de l'incertitude de nos estimations, qui découle de la nature non déterministe des scènes de circulation naturelles. Nos résultats expérimentaux montrent qu'il est effectivement possible de prédire les trajectoires des piétons aux horizons temporels souhaités et que nos estimations d'incertitude sont informatives quant à l'erreur de prédiction. Nous montrons également que la modélisation séquentielle des trajectoires ainsi que notre nouvelle méthode de prédiction d'odométrie à long terme sont essentielles pour obtenir les meilleures performances.