Command Palette
Search for a command to run...
Un réseau neuronal encodeur-décodeur à convolution multicouche pour la correction d'erreurs grammaticales
Un réseau neuronal encodeur-décodeur à convolution multicouche pour la correction d'erreurs grammaticales
Shamil Chollampatt Hwee Tou Ng
Résumé
Nous améliorons la correction automatique des erreurs grammaticales, orthographiques et de collocation dans le texte en utilisant un réseau neuronal convolutif à plusieurs couches (multilayer convolutional encoder-decoder neural network). Le réseau est initialisé avec des plongements (embeddings) qui exploitent les informations de N-grammes de caractères pour mieux s'adapter à cette tâche. Lorsqu'il est évalué sur des ensembles de données de test de référence couramment utilisés (CoNLL-2014 et JFLEG), notre modèle surpasse considérablement toutes les approches neuronales précédentes ainsi que les systèmes robustes de traduction automatique statistique dotés de caractéristiques neuronales et spécifiques à la tâche formés sur les mêmes données. Notre analyse montre la supériorité des réseaux neuronaux convolutifs par rapport aux réseaux neuronaux récurrents tels que les réseaux à mémoire à court et long terme (long short-term memory, LSTM) dans la capture du contexte local grâce à l'attention, ce qui améliore ainsi la couverture dans la correction des erreurs grammaticales. En combinant plusieurs modèles et en intégrant un modèle linguistique N-gramme et des caractéristiques d'édition par recalage, notre méthode novatrice devient la première approche neuronale à surpasser l'approche actuelle basée sur la traduction automatique statistique, tant en termes de grammaticalité que de fluidité.