LSMDC steht für Large Scale Movie Description Challenge. Der Datensatz enthält 118.081 kurze Videoclips aus 202 Filmen. Jedes Video ist mit Untertiteln versehen, die entweder aus dem Drehbuch stammen oder mit DVS (Dictation Video Service) für Sehbehinderte transkribiert wurden.

Der Validierungssatz enthält 7.408 Videoclips und die Auswertung wird anhand eines Testsatzes durchgeführt, der aus 1.000 Filmvideos besteht, die sich nicht mit den Trainings- und Validierungssätzen überschneiden.