HyperAIHyperAI

Command Palette

Search for a command to run...

Modélisation de Langue dans un Contexte Élargi comme Compréhension de la Lecture

Zewei Chu; Hai Wang; Kevin Gimpel; David McAllester

Résumé

Les progrès dans la compréhension du texte ont été stimulés par de grands ensembles de données qui testent des capacités particulières, tels que les ensembles de données récents pour la compréhension de la lecture (Hermann et al., 2015). Nous nous concentrons ici sur l'ensemble de données LAMBADA (Paperno et al., 2016), une tâche de prédiction de mots nécessitant un contexte plus large que la phrase immédiate. Nous considérons LAMBADA comme un problème de compréhension de la lecture et appliquons des modèles de compréhension basés sur les réseaux neuronaux. Bien que ces modèles soient limités à choisir un mot dans le contexte, ils améliorent l'état de l'art sur LAMBADA, passant de 7,3 % à 49 %. Nous analysons 100 instances, constatant que les lecteurs basés sur les réseaux neuronaux se distinguent bien lorsqu'il s'agit de sélectionner un nom dans le contexte en fonction des indices dialogiques ou discursifs, mais rencontrent des difficultés lorsque la résolution de co-référence ou des connaissances externes sont nécessaires.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp