Der Datensatz besteht aus 6.691 Bildern, die von drei Instrumenten des Mars Science Laboratory (MSL) gesammelt wurden: Right-Eye Mastcam, Left-Eye Mastcam und MAHLI und deckt 24 Kategorien ab. Bei diesen Bildern handelt es sich um „Durchsuchungsversionen“ der einzelnen Rohdatenprodukte. Sie weisen keine volle Auflösung auf, da jedes Bild etwa 256 x 256 Pixel groß ist.

Die Forscher unterteilten die MSL-Bilder basierend auf dem Datum ihrer Aufnahme (einem Marstag oder Sol) in Trainings-, Validierungs- und Testsätze. Diese Strategie wurde gewählt, um zu simulieren, wie das System im Betrieb genutzt wird, wenn das Bildarchiv mit der Zeit wächst. Die Bilder wurden von Sol 3 bis Sol 1.060 (August 2012 bis Juli 2015) aufgenommen. Die genauen Aufteilungen für Training/Validierung/Test werden in separaten Dateien angegeben.