SumMe ist ein Videozusammenfassungsdatensatz, der aus 25 Videos mit jeweils mindestens 15 menschlichen Anmerkungen besteht, also insgesamt 390 Anmerkungen.

Die Daten bestehen aus Videos, Anmerkungen und Bewertungsmetriken. Ground Truth ist ein neues Bewertungsparadigma, da es aus psychologischen Experimenten abgeleitet wird und konsistent und automatisch ausgewertet werden kann, ohne dass bei jedem neuen zusammenfassenden Ergebnis Benutzerstudien erforderlich sind.