La compréhension panoramique des scènes et le suivi des agents dynamiques sont essentiels aux robots et aux véhicules automatisés pour naviguer dans les environnements urbains. Étant donné que les LiDAR fournissent des représentations géométriques précises et indépendantes de l'éclairage, l'exécution de ces tâches à partir de nuages de points LiDAR permet d'obtenir des prédictions fiables. Toutefois, les jeux de données existants manquent de diversité en ce qui concerne les types de scènes urbaines et comptent un nombre limité d'instances d'objets dynamiques, ce qui entrave à la fois l'apprentissage de ces tâches et le benchmarking crédible des méthodes développées. Dans cet article, nous introduisons le grand jeu de données Panoptic nuScenes, une extension du jeu de données populaire nuScenes, enrichi d'annotations de vérité terrain au niveau des points pour les tâches de segmentation sémantique, de segmentation panoramique et de suivi panoramique. Afin de faciliter les comparaisons, nous proposons plusieurs bases solides (baselines) pour chacune de ces tâches sur notre jeu de données. En outre, nous analysons les limites des métriques existantes pour le suivi panoramique et proposons une nouvelle métrique, PAT centrée sur les instances, qui répond aux préoccupations soulevées. Nous présentons des expériences approfondies démontrant l'utilité de Panoptic nuScenes par rapport aux jeux de données existants, et mettons à disposition un serveur d'évaluation en ligne sur nuScenes.org. Nous estimons que cette extension accélérera la recherche de nouvelles méthodes pour la compréhension des scènes dans les environnements urbains dynamiques.