STEP signifie The Segmenting and Tracking Every Pixel benchmark, qui comprend 21 séquences d'entraînement et 29 séquences de test. Cet ensemble de données est basé sur les benchmarks KITTI Tracking Evaluation et Multi-Object Tracking and Segmentation (MOTS).

Cet ensemble de données ajoute des étiquettes de segmentation de pixels denses pour chaque pixel. Dans ce benchmark, chaque pixel possède une étiquette sémantique et tous les pixels appartenant aux catégories d'objets les plus saillantes (voitures et piétons) ont un identifiant de suivi unique.