HyperAIHyperAI

Command Palette

Search for a command to run...

DUMA : Compréhension de lecture avec une pensée de permutation

Pengfei Zhu Hai Zhao Xiaoguang Li

Résumé

La lecture compréhension automatique à choix multiples (MRC) exige que le modèle détermine la réponse correcte parmi un ensemble d'options proposées, à partir d’un passage et d’une question. En conséquence, outre un modèle pré-entraîné puissant (PrLM) utilisé comme encodeur, la MRC à choix multiples repose particulièrement sur une architecture de réseau de correspondance conçue pour capturer efficacement les relations entre le triplet constitué du passage, de la question et des réponses. Bien que les PrLMs plus récents et plus puissants aient démontré leur efficacité même en l’absence d’un tel réseau de correspondance, nous proposons un nouveau modèle, le DUMA (DUal Multi-head Co-Attention), inspiré du processus de pensée par transposition humaine dans la résolution des problèmes de MRC à choix multiples : chaque élément (passage ou question) considère tour à tour l’attention portée par l’autre. Le modèle DUMA s’est révélé efficace et capable d’améliorer de manière générale les performances des PrLMs. Notre méthode a été évaluée sur deux tâches de référence en MRC à choix multiples, DREAM et RACE, montrant que, même avec des PrLMs puissants, DUMA permet d’atteindre de nouveaux états de l’art.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
DUMA : Compréhension de lecture avec une pensée de permutation | Articles | HyperAI