HyperAIHyperAI

Command Palette

Search for a command to run...

Mots ou caractères ? Une porte de granularité fine pour la compréhension de la lecture

Zhilin Yang; Bhuwan Dhingra; Ye Yuan; Junjie Hu; William W. Cohen; Ruslan Salakhutdinov

Résumé

Les travaux précédents combinent les représentations au niveau des mots et des caractères en utilisant la concaténation ou le pondération scalaire, ce qui est sous-optimal pour les tâches de haut niveau comme la compréhension de lecture. Nous présentons un mécanisme de porte fine-grained (fine-grained gating) permettant de combiner dynamiquement les représentations au niveau des mots et des caractères en fonction des propriétés des mots. Nous étendons également l'idée de porte fine-grained à la modélisation de l'interaction entre les questions et les paragraphes pour la compréhension de lecture. Les expériences montrent que notre approche peut améliorer les performances sur les tâches de compréhension de lecture, atteignant de nouveaux résultats d'état de l'art sur le jeu de données Children's Book Test. Pour démontrer la généralité de notre mécanisme de porte, nous montrons également des résultats améliorés sur une tâche de prédiction des tags dans les médias sociaux.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp