STEP steht für The Segmenting and Tracking Every Pixel Benchmark, der 21 Trainingssequenzen und 29 Testsequenzen umfasst. Dieser Datensatz basiert auf den Benchmarks KITTI Tracking Evaluation und Multi-Object Tracking and Segmentation (MOTS).

Dieser Datensatz fügt für jedes Pixel dichte Pixelsegmentierungsbeschriftungen hinzu. In diesem Benchmark hat jedes Pixel eine semantische Bezeichnung und alle Pixel, die zu den wichtigsten Objektkategorien (Autos und Fußgänger) gehören, haben eine eindeutige Tracking-ID.