L'ensemble de données TVQA est un ensemble de données de questions-réponses vidéo à grande échelle dont les vidéos proviennent de 6 séries télévisées américaines classiques. L'ensemble de données contient environ 152,5 000 paires questions-réponses provenant de 21,8 000 clips vidéo d'une durée de 60 à 90 secondes, d'une durée totale de plus de 460 heures. Ces paires questions-réponses sont utilisées dans les ensembles de formation, de validation et de test dans un rapport de 8:1:1.

Les questions de l'ensemble de données TVQA sont conçues de manière combinée, comprenant deux parties : la réponse aux questions et la localisation, et chaque question a une localisation temporelle. Pour répondre à de telles questions, le modèle doit posséder un certain degré de localisation temporelle et la capacité de comprendre le dialogue (sous-titre) et la vidéo (vidéo).