LSMDC は、Large Scale Movie description Challenge の略です。このデータセットには、202 本の映画から抽出された 118,081 個の短いビデオ クリップが含まれています。各ビデオには、映画の台本から取得されたか、DVS (視覚障害者向けのディクテーション サービス) 経由で書き起こされた字幕が付いています。

検証セットには 7,408 個のビデオ クリップが含まれており、評価はトレーニング セットと検証セットと重複しない 1,000 本の映画ビデオで構成されるテスト セットで実行されます。