L'ensemble de données YouTube-100M contient 100 millions de vidéos YouTube. Cela comprend 70 millions de vidéos de formation, 10 millions de vidéos d’évaluation et 20 millions de vidéos de validation. Chaque vidéo dure en moyenne 4,6 minutes, pour un total de 5,4 millions d’heures de formation.

L'ensemble de données contient plus de 30 000 annotations de catégorie, qui sont générées automatiquement en fonction d'une combinaison des métadonnées de chaque vidéo (titre, description, commentaires, etc.), de l'arrière-plan et du contenu de l'image. En moyenne, il y a environ 5 annotations par vidéo.