HyperAIHyperAI

Command Palette

Search for a command to run...

Un réseau d'attention multifactoriel axé sur la question pour le traitement des questions-réponses

Souvik Kundu Hwee Tou Ng

Résumé

Les modèles de réseaux neuronaux récemment proposés pour le système de questions-réponses (QA) se concentrent principalement sur la capture de la relation entre le passage et la question. Cependant, ils ont une capacité limitée à établir des liens entre les faits pertinents répartis dans plusieurs phrases, ce qui est essentiel pour atteindre une compréhension plus profonde, telle que l'inférence multi-sentences ou la résolution de co-référence. De plus, ces modèles ne mettent pas explicitement l'accent sur le type de question et de réponse, qui joue souvent un rôle critique dans le QA. Dans cet article, nous proposons un nouveau réseau d'attention multifactorielle orienté vers la question pour l'extraction des réponses. L'encodage attentif multifactoriel utilisant une transformation basée sur des tenseurs agrège des faits significatifs même lorsqu'ils sont situés dans plusieurs phrases. Pour inférer implicitement le type de réponse, nous proposons également un mécanisme d'agrégation questionnelle à attention maximale afin d'encoder un vecteur de question en fonction des mots importants dans cette question. Pendant la prédiction, nous intégrons l'encodage au niveau séquentiel du premier mot interrogatif et du mot qui suit immédiatement comme source supplémentaire d'information sur le type de question. Notre modèle proposé réalise des améliorations significatives par rapport aux meilleurs résultats antérieurs sur trois jeux de données QA à grande échelle et difficiles, à savoir NewsQA, TriviaQA et SearchQA.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Un réseau d'attention multifactoriel axé sur la question pour le traitement des questions-réponses | Articles | HyperAI