PandaSet zielt darauf ab, Forschung und Entwicklung im Bereich autonomes Fahren und maschinelles Lernen zu erleichtern und voranzutreiben. PandaSet bietet Daten, die mit einem nach vorne gerichteten Lidar (PandarGT) und einem mechanisch rotierenden Lidar (Pandar64) mit ähnlicher Bildauflösung erfasst wurden. Die gesammelten Daten werden mithilfe einer Kombination aus Quader- und Segmentierungsannotation (Scale 3D Sensor Fusion Segmentation) annotiert.

Der Datensatz umfasst mehr als 48.000 Kamerabilder und 16.000 Lidar-Scan-Punktwolkenbilder (über 100 8-Sekunden-Szenen). Der Datensatz enthält außerdem 28 Anmerkungen für jede Szene und 37 semantische Segmentierungsbeschriftungen für die meisten Szenen.