Peut une armure conduire l'électricité ? Un nouveau jeu de données pour la réponse à des questions ouvertes avec livre ouvert

Nous présentons un nouveau type de jeu de données pour les systèmes de réponse à des questions, OpenBookQA, conçu sur le modèle des examens ouverts pour évaluer la compréhension humaine d'un sujet. L'ouvrage ouvert qui accompagne nos questions est un ensemble de 1329 faits scientifiques de niveau élémentaire. Environ 6000 questions visent à tester la compréhension de ces faits et leur application à des situations nouvelles. Cela nécessite de combiner un fait tiré de l'ouvrage ouvert (par exemple, les métaux conduisent l'électricité) avec une connaissance générale étendue (par exemple, une armure est fabriquée en métal) obtenue à partir d'autres sources. Bien que les jeux de données existants pour les réponses aux questions sur des documents ou des bases de connaissances soient généralement autonomes et se concentrent sur la compréhension linguistique, OpenBookQA explore une compréhension plus profonde du sujet---dans le contexte de la connaissance générale---et du langage dans lequel il est exprimé. Les performances humaines sur OpenBookQA sont proches de 92 %, mais de nombreuses méthodes pré-entraînées d'avant-garde en réponse aux questions s'avèrent étonnamment médiocres, inférieures à celles de plusieurs modèles neuronaux simples que nous avons développés. Nos expériences avec un oracle conçues pour contourner le goulot d'étranglement du récupération des connaissances démontrent la valeur tant de l'ouvrage ouvert que des faits supplémentaires. Nous laissons comme défi la résolution du problème de récupération dans ce cadre multi-sauts et la réduction du grand écart par rapport aux performances humaines.