HyperAIHyperAI

Command Palette

Search for a command to run...

Résolution de pronoms genrés à l'aide de BERT et d'une formulation de réponse à questions extractives

Rakesh Chada

Résumé

La résolution des pronoms ambigus est un défi de longue date dans la compréhension du langage naturel. Des études récentes ont suggéré l'existence d'un biais de genre parmi les systèmes d'alignement de référence (coreference resolution) les plus avancés. Par exemple, l'équipe Google AI Language a récemment publié un jeu de données équilibré en termes de genre et a montré que les performances de ces systèmes d'alignement de référence sont considérablement limitées sur ce jeu de données. Dans cet article, nous proposons une formulation extractive de la tâche de résolution des pronoms qui surmonte cette limitation et présente un biais de genre beaucoup plus faible (0,99) sur leur jeu de données. Ce système utilise des représentations affinées issues du modèle BERT pré-entraîné et surpass le modèle de base existant avec une marge significative (amélioration absolue de 22,2 % en termes de score F1) sans utiliser aucune caractéristique ingénierie manuellement. Ce cadre QA est également performant même sans connaître les antécédents candidats du pronom. Un ensemble combinant des modèles QA, BERT basés sur le choix multiple et la classification séquentielle améliore encore davantage le score F1 (amélioration absolue de 23,3 % par rapport au modèle de base). Ce modèle d'ensemble a été soumis à la tâche commune pour le premier atelier ACL sur le biais de genre en traitement du langage naturel. Il s'est classé 9e sur le classement officiel final. Le code source est disponible à l'adresse https://github.com/rakeshchada/corefqa.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Résolution de pronoms genrés à l'aide de BERT et d'une formulation de réponse à questions extractives | Articles | HyperAI