HyperAIHyperAI

Command Palette

Search for a command to run...

Évaluation de l'analyse sémantique face à un modèle simple de réponse aux questions basé sur le web

Alon Talmor Mor Geva Jonathan Berant

Résumé

L'analyse sémantique se distingue par sa capacité à analyser des langages naturels complexes impliquant la composition et le calcul sur plusieurs éléments de preuve. Cependant, les jeux de données pour l'analyse sémantique contiennent de nombreuses questions factuelles qui peuvent être répondues à partir d'un seul document web. Dans cet article, nous proposons d'évaluer les modèles de réponse aux questions basés sur l'analyse sémantique en les comparant à une ligne de base de réponse aux questions qui interroge le web et extrait la réponse uniquement à partir de fragments web, sans accès à la base de connaissances cible. Nous examinons cette approche sur COMPLEXQUESTIONS, un jeu de données conçu pour se concentrer sur le langage compositionnel, et constatons que notre modèle obtient des performances raisonnables (un score F1 de 35 contre 41 pour l'état de l'art). Notre analyse révèle que notre modèle performe bien sur des questions complexes impliquant des conjonctions, mais rencontre des difficultés avec les questions impliquant la composition de relations et les superlatifs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp