Évaluation de l'analyse sémantique face à un modèle simple de réponse aux questions basé sur le web

L'analyse sémantique se distingue par sa capacité à analyser des langages naturels complexes impliquant la composition et le calcul sur plusieurs éléments de preuve. Cependant, les jeux de données pour l'analyse sémantique contiennent de nombreuses questions factuelles qui peuvent être répondues à partir d'un seul document web. Dans cet article, nous proposons d'évaluer les modèles de réponse aux questions basés sur l'analyse sémantique en les comparant à une ligne de base de réponse aux questions qui interroge le web et extrait la réponse uniquement à partir de fragments web, sans accès à la base de connaissances cible. Nous examinons cette approche sur COMPLEXQUESTIONS, un jeu de données conçu pour se concentrer sur le langage compositionnel, et constatons que notre modèle obtient des performances raisonnables (un score F1 de 35 contre 41 pour l'état de l'art). Notre analyse révèle que notre modèle performe bien sur des questions complexes impliquant des conjonctions, mais rencontre des difficultés avec les questions impliquant la composition de relations et les superlatifs.