LSMDC signifie Large Scale Movie Description Challenge. L'ensemble de données contient 118 081 courts clips vidéo extraits de 202 films. Chaque vidéo est accompagnée de sous-titres, soit extraits du scénario du film, soit transcrits à l'aide du DVS (Dictation Video Service) pour les malvoyants.

L'ensemble de validation contient 7 408 clips vidéo et l'évaluation est effectuée sur un ensemble de test composé de 1 000 vidéos de films qui ne chevauchent pas les ensembles d'entraînement et de validation.