HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-passage BERT : Un modèle BERT normalisé globalement pour la réponse à des questions en domaine ouvert

Zhiqiang Wang Yuhao Zhang Xiaoyan Yan

Résumé

Le modèle BERT a été appliqué avec succès à des tâches de questions-réponses (QA) dans des domaines ouverts. Cependant, les travaux précédents entraînent BERT en considérant les passages correspondant à la même question comme des instances d'entraînement indépendantes, ce qui peut entraîner des scores non comparables pour les réponses provenant de différents passages. Pour résoudre ce problème, nous proposons un modèle BERT multi-passage permettant une normalisation globale des scores de réponse sur l'ensemble des passages relatifs à la même question. Ce changement permet à notre modèle QA de trouver de meilleures réponses en utilisant un plus grand nombre de passages. De plus, nous avons constaté que diviser les articles en passages de 100 mots par une fenêtre glissante améliore les performances de 4 %. En utilisant un classeur de passage pour sélectionner des passages de haute qualité, le BERT multi-passage gagne encore 2 %. Les expériences menées sur quatre benchmarks standards ont montré que notre BERT multi-passage surpassait tous les modèles d'avant-garde sur tous les benchmarks. En particulier, sur le jeu de données OpenSQuAD, notre modèle obtient une amélioration de 21,4 % en exactitude (EM) et de 21,5 % en score F1F_1F1 par rapport à tous les modèles non-BERT, ainsi que 5,8 % en exactitude (EM) et 6,5 % en score F1F_1F1 par rapport aux modèles basés sur BERT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Multi-passage BERT : Un modèle BERT normalisé globalement pour la réponse à des questions en domaine ouvert | Articles | HyperAI