CoQA : Un Défi de Réponse aux Questions en Conversation

Les humains collectent des informations en s'engageant dans des conversations impliquant une série de questions et de réponses interconnectées. Pour que les machines puissent aider à la collecte d'informations, il est donc essentiel de les doter de la capacité de répondre à des questions conversationnelles. Nous présentons CoQA, un nouveau jeu de données conçu pour développer des systèmes de Question-Réponse Conversationnelle. Notre jeu de données comprend 127 000 questions avec leurs réponses, issues de 8 000 conversations portant sur des extraits textuels provenant de sept domaines variés. Les questions sont conversationnelles, et les réponses sont sous forme libre, accompagnées des preuves correspondantes mises en évidence dans le passage. Nous analysons CoQA en profondeur et montrons que les questions conversationnelles présentent des phénomènes complexes absents des jeux de données existants en compréhension de lecture, tels que la coréférence et le raisonnement pragmatique. Nous évaluons des modèles robustes en question-réponse conversationnelle et en compréhension de lecture sur CoQA. Le meilleur système obtient un score F1 de 65,4 %, soit 23,4 points derrière la performance humaine (88,8 %), ce qui indique qu'il reste beaucoup d'espace pour l'amélioration. Nous lançons CoQA comme un défi à la communauté sur http://stanfordnlp.github.io/coqa/