DiDeMo signifie Distinct Describable Moments, qui peut être utilisé pour localiser temporellement des événements dans une vidéo à partir d'une description en langage naturel. Les vidéos de l'ensemble de données sont collectées à partir de Flickr et chaque vidéo est découpée en segments pouvant durer jusqu'à 30 secondes. Les vidéos de l'ensemble de données sont divisées en segments de 5 secondes chacun pour réduire la complexité de l'annotation.

L'ensemble de données est divisé en ensembles de formation, de validation et de test, qui contiennent respectivement 8 395, 1 065 et 1 004 vidéos. L'ensemble de données contient un total de 26 892 moments, et un moment peut être associé à des descriptions provenant de plusieurs annotateurs. Les descriptions dans l'ensemble de données DiDeMo sont détaillées et incluent les mouvements de caméra, les mesures de transition temporelle et les activités. De plus, les descriptions de cet ensemble de données sont validées de sorte que chaque description se réfère à un moment unique dans le temps.