PandaSet vise à faciliter et à faire progresser la recherche et le développement dans la conduite autonome et l'apprentissage automatique. PandaSet présente des données collectées à l'aide d'un lidar à vision frontale (PandarGT) et d'un lidar à rotation mécanique (Pandar64) avec une résolution d'image similaire. Les données collectées sont annotées à l'aide d'une combinaison d'annotations cuboïdes et de segmentation (Scale 3D Sensor Fusion Segmentation).

L'ensemble de données comprend plus de 48 000 images de caméra et 16 000 images de nuages de points de numérisation lidar (plus de 100 scènes de 8 secondes). L'ensemble de données comprend également 28 annotations pour chaque scène et 37 étiquettes de segmentation sémantique pour la plupart des scènes.