HyperAIHyperAI

Command Palette

Search for a command to run...

Lecteur Mémoriel Renforcé pour la Compréhension de la Lecture par Machine

Minghao Hu Yuxing Peng Zhen Huang Xipeng Qiu Furu Wei Ming Zhou

Résumé

Dans cet article, nous présentons le Lecteur Mnémonique Renforcé pour les tâches de compréhension de la lecture par machine, qui améliore les lecteurs attentifs précédents sous deux aspects. Premièrement, un mécanisme de ré-attention est proposé pour affiner les attentions actuelles en accédant directement aux attentions passées mémorisées temporairement dans une architecture d'alignement à plusieurs tours, afin d'éviter les problèmes de redondance et de carence d'attention. Deuxièmement, une nouvelle approche d'optimisation appelée apprentissage par renforcement dynamique-critique est introduite pour étendre la méthode supervisée standard. Cette approche encourage toujours la prédiction d'une réponse plus acceptable afin de résoudre le problème de suppression de convergence rencontré dans les algorithmes traditionnels d'apprentissage par renforcement. Des expériences approfondies sur l'ensemble de données Stanford Question Answering (SQuAD) montrent que notre modèle atteint des résultats de pointe. Par ailleurs, notre modèle surpassent les systèmes précédents de plus de 6 % en termes des métriques Exact Match et F1 sur deux ensembles de données SQuAD adverses.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp