How2QA est un ensemble de données de cadre d'apprentissage vidéo + langue. L'ensemble de données présente le même ensemble de clips vidéo sélectionnés à un autre groupe de travailleurs de l'AMT pour une annotation de questions-réponses à choix multiples. Chaque travailleur s’est vu attribuer un clip vidéo et a été invité à rédiger une question basée sur quatre réponses préparées (une réponse correcte et trois réponses de distraction). La narration vidéo a été cachée au personnel pour garantir que les paires de questions-réponses collectées ne soient pas affectées par les sous-titres. L'ensemble de données contient 22 000 clips de 60 secondes sélectionnés parmi 9 035 vidéos et 44 007 paires questions-réponses.