Détection d'erreurs grammaticales à l'aide d'embeddings de mots spécifiques aux erreurs et à la grammaticalité

Dans cette étude, nous améliorons la détection d'erreurs grammaticales en apprenant des représentations vectorielles de mots (word embeddings) qui tiennent compte à la fois de la grammaticalité et des motifs d'erreurs. La plupart des algorithmes existants d'apprentissage de word embeddings modélisent uniquement le contexte syntaxique des mots, ce qui conduit les classificateurs à traiter les mots erronés et les mots corrects comme des entrées similaires. Nous abordons ce problème de l'information contextuelle en intégrant les erreurs des apprenants. Plus précisément, nous proposons deux modèles : un premier modèle qui exploite les motifs d'erreurs grammaticales, et un second qui prend en compte la grammaticalité du mot cible. La grammaticalité d'une séquence de n-grammes est déterminée à partir des balises d'erreurs annotées, et les motifs d'erreurs grammaticales utilisés pour l'apprentissage des word embeddings sont extraits à partir de grandes corpora d'apprenants. Les résultats expérimentaux montrent qu’un modèle à mémoire à longue et courte durée bidirectionnel (LSTM) initialisé par nos word embeddings atteint une précision de pointe, de manière significative, sur une tâche de détection d'erreurs grammaticales en anglais, sur le jeu de données First Certificate in English.