How2QA ist ein Datensatz für ein Framework zum Erlernen von Videos und Sprachen. Der Datensatz präsentiert einer anderen Gruppe von AMT-Mitarbeitern denselben Satz ausgewählter Videoclips zur Kommentierung mit Multiple-Choice-Fragen und -Antworten. Jedem Mitarbeiter wurde ein Videoclip zugeteilt und er wurde gebeten, eine Frage auf der Grundlage von vier vorbereiteten Antworten (eine richtige Antwort und drei Ablenkungsantworten) zu schreiben. Der Videokommentar wurde vor den Mitarbeitern verborgen, um sicherzustellen, dass die gesammelten Frage-und-Antwort-Paare nicht durch die Untertitel beeinträchtigt wurden. Der Datensatz enthält 22.000 60-Sekunden-Clips, ausgewählt aus 9.035 Videos und 44.007 Frage-Antwort-Paaren.