HyperAIHyperAI

Command Palette

Search for a command to run...

Raisonnement commun pour les tâches de réponse à questions génératives multi-étapes

Lisa Bauer Yicheng Wang Mohit Bansal

Résumé

Les tâches de questions-réponses (QA) basées sur la compréhension de lecture ont connu une popularité croissante récemment, mais la plupart des travaux se sont concentrés sur le QA extractif axé sur la recherche de faits. Nous nous intéressons ici à une tâche plus complexe et générative nécessitant plusieurs étapes (NarrativeQA), qui oblige le modèle à raisonner, rassembler et synthétiser des informations disjointes au sein du contexte pour générer une réponse. Ce type de raisonnement en plusieurs étapes nécessite également souvent de comprendre des relations implicites, que les humains résolvent grâce à des connaissances générales externes. Nous présentons d'abord un modèle génératif robuste utilisant un mécanisme d'attention multiple pour effectuer plusieurs étapes de raisonnement et un décodeur pointeur-générateur pour synthétiser la réponse. Ce modèle performe considérablement mieux que les modèles génératifs précédents et est compétitif avec les modèles actuels prédictifs d'intervalles (span prediction). Ensuite, nous introduisons un système novateur pour sélectionner des informations relationnelles communes ancrées dans ConceptNet via une fonction de notation basée sur l'information mutuelle ponctuelle (pointwise mutual information) et la fréquence terminologique. Enfin, nous utilisons efficacement ces informations communes extraites pour combler les lacunes dans le raisonnement entre les étapes contextuelles, en employant un mécanisme d'attention à portes sélectives. Cela améliore considérablement les performances du modèle (vérifié par évaluation humaine), établissant ainsi un nouveau standard pour cette tâche. Nous montrons également des résultats prometteurs quant à la généralisabilité de nos améliorations basées sur les connaissances de fond en démontrant quelques progrès sur QAngaroo-WikiHop, un autre ensemble de données nécessitant du raisonnement en plusieurs étapes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp