Un réseau neuronal encodeur-décodeur à convolution multicouche pour la correction d'erreurs grammaticales

Nous améliorons la correction automatique des erreurs grammaticales, orthographiques et de collocation dans le texte en utilisant un réseau neuronal convolutif à plusieurs couches (multilayer convolutional encoder-decoder neural network). Le réseau est initialisé avec des plongements (embeddings) qui exploitent les informations de N-grammes de caractères pour mieux s'adapter à cette tâche. Lorsqu'il est évalué sur des ensembles de données de test de référence couramment utilisés (CoNLL-2014 et JFLEG), notre modèle surpasse considérablement toutes les approches neuronales précédentes ainsi que les systèmes robustes de traduction automatique statistique dotés de caractéristiques neuronales et spécifiques à la tâche formés sur les mêmes données. Notre analyse montre la supériorité des réseaux neuronaux convolutifs par rapport aux réseaux neuronaux récurrents tels que les réseaux à mémoire à court et long terme (long short-term memory, LSTM) dans la capture du contexte local grâce à l'attention, ce qui améliore ainsi la couverture dans la correction des erreurs grammaticales. En combinant plusieurs modèles et en intégrant un modèle linguistique N-gramme et des caractéristiques d'édition par recalage, notre méthode novatrice devient la première approche neuronale à surpasser l'approche actuelle basée sur la traduction automatique statistique, tant en termes de grammaticalité que de fluidité.