Nous proposons un cadre de marquage de séquence avec un objectif d'entraînement secondaire, visant à prédire les mots environnants pour chaque mot du jeu de données. Cet objectif de modélisation linguistique incite le système à apprendre des schémas généraux de composition sémantique et syntaxique, qui sont également utiles pour améliorer la précision sur différentes tâches de marquage de séquence. L'architecture a été évaluée sur une variété de jeux de données, couvrant les tâches de détection d'erreurs dans les textes d'apprenants, reconnaissance d'entités nommées, segmentation (chunking) et étiquetage morphosyntaxique (POS-tagging). L'objectif novateur de modélisation linguistique a fourni des améliorations de performance constantes sur chaque benchmark, sans nécessiter aucune donnée supplémentaire annotée ou non annotée.