L'ensemble de données Caltech-256 est une version améliorée de l'ensemble de données Caltech-101, avec les principaux changements suivants :

a) Le nombre de catégories fait plus que doubler ;

b) le nombre minimum d’images dans chaque catégorie est passé de 31 à 80 ;

c) Éviter les artefacts causés par la rotation de l’image ;

d) Une nouvelle catégorie d'encombrement plus grande est introduite pour tester le rejet d'arrière-plan.

L'ensemble de données contient 20 607 images dans 256 catégories et a été collecté par Feifei Li, Marc Andreto et Marc'Aurelio Ranzato de Caltech.