L'ensemble de données comprend 6 691 images collectées par trois instruments du Mars Science Laboratory (MSL) : Mastcam œil droit, Mastcam œil gauche et MAHLI, couvrant 24 catégories. Ces images sont des versions « navigation » de chaque produit de données brutes et ne sont pas en pleine résolution, environ 256 × 256 pixels par image.

Les chercheurs ont divisé les images MSL en ensembles d’entraînement, de validation et de test en fonction de la date à laquelle elles ont été acquises (un jour martien, ou sol). Cette stratégie a été choisie pour simuler la manière dont le système serait utilisé de manière opérationnelle à mesure que les archives d’images se développent au fil du temps. Les images ont été collectées du Sol 3 au Sol 1 060 (d'août 2012 à juillet 2015). Les répartitions exactes train/validation/test sont données dans des fichiers séparés.