SumMe est un ensemble de données de résumé vidéo composé de 25 vidéos, chacune avec au moins 15 annotations humaines, pour un total de 390 annotations.

Les données se composent de vidéos, d’annotations et de mesures d’évaluation. La vérité fondamentale est un nouveau paradigme d’évaluation car elle est dérivée d’expériences psychologiques et peut être évaluée de manière cohérente et automatique sans avoir besoin d’études d’utilisateurs chaque fois qu’un nouveau résultat récapitulatif est obtenu.