HyperAIHyperAI

Command Palette

Search for a command to run...

Amélioration de la correction grammaticale Seq2Seq par des interventions au décodage

Houquan Zhou Yumeng Liu Zhenghua Li Min Zhang Bo Zhang Chen Li Ji Zhang Fei Huang

Résumé

L’approche sequence-to-sequence (Seq2Seq) est récemment devenue très populaire dans le domaine de la correction d’erreurs grammaticales (GEC) et s’est révélée prometteuse. Toutefois, cette approche souffre encore de deux limitations majeures. Premièrement, un modèle GEC basé sur Seq2Seq ne peut être entraîné qu’à partir de données parallèles, qui, dans le cadre du GEC, sont souvent bruitées et limitées en quantité. Deuxièmement, le décodeur d’un tel modèle ne dispose pas d’une conscience explicite de la correction du token qu’il génère. Dans cet article, nous proposons un cadre unifié d’intervention au décodage, qui utilise un critique externe pour évaluer de manière incrémentielle l’adéquation du token à générer, puis influencer dynamiquement le choix du token suivant. Nous explorons et analysons deux types de critiques : un critique basé sur un modèle pré-entraîné de langage à gauche à droite, et un critique détecteur incrémentiel d’erreurs grammaticales côté cible. À travers des expérimentations étendues sur des jeux de données en anglais et en chinois, notre cadre surpasse de manière constante des modèles de référence performants et atteint des résultats comparables aux méthodes les plus avancées de l’état de l’art.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp