HyperAIHyperAI

Command Palette

Search for a command to run...

Le Défi de Compréhension de Lecture NarrativeQA

Tomáš Kočiský Jonathan Schwarz Phil Blunsom Chris Dyer Karl Moritz Hermann Gábor Melis Edward Grefenstette

Résumé

Compréhension de la lecture (CL) --- contrairement à la recherche d'information --- nécessite l'intégration des informations et le raisonnement sur les événements, les entités et leurs relations au sein d'un document complet. L'évaluation de la capacité de CL utilise traditionnellement des tâches de réponse à des questions, tant pour les agents artificiels que pour les enfants apprenant à lire. Cependant, les jeux de données et les tâches existants en CL sont dominés par des questions qui peuvent être résolues en sélectionnant des réponses basées sur des informations superficielles (par exemple, la similarité du contexte local ou la fréquence globale des termes) ; ils échouent donc à tester l'aspect intégratif essentiel de la CL. Pour encourager les progrès dans une compréhension plus profonde du langage, nous présentons un nouveau jeu de données et un ensemble de tâches dans lesquelles le lecteur doit répondre à des questions sur des histoires en lisant des livres entiers ou des scénarios de films. Ces tâches sont conçues de manière à ce que répondre correctement aux questions nécessite une compréhension du récit sous-jacent plutôt qu'une simple correspondance de motifs superficiels ou une salience. Nous montrons que, bien que les humains résolvent ces tâches facilement, les modèles standards de CL ont du mal avec les tâches présentées ici. Nous fournissons une analyse du jeu de données et des défis qu'il présente.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp