Der Caltech-256-Datensatz ist eine verbesserte Version des Caltech-101-Datensatzes mit den folgenden Hauptänderungen: a) Die Anzahl der Kategorien hat sich mehr als verdoppelt; b) die Mindestanzahl von Bildern in jeder Kategorie wurde von 31 auf 80 erhöht; c) Vermeidung von Artefakten, die durch Bildrotation verursacht werden; d) Zum Testen der Hintergrundunterdrückung wird eine neue größere Clutter-Kategorie eingeführt. Der Datensatz enthält 20.607 Bilder in 256 Kategorien und wurde von Feifei Li, Marc Andreto und Marc'Aurelio Ranzato von Caltech gesammelt.