L'essor des réseaux de neurones, et en particulier des réseaux de neurones récurrents, a permis d'obtenir des avancées significatives dans la précision du marquage des classes grammaticales (part-of-speech tagging). Une caractéristique commune à ces modèles est la présence d'encodages initiaux riches pour les mots. Ces encodages sont généralement composés d'une représentation récurrente basée sur les caractères, associée à des plongements de mots appris et pré-entraînés. Cependant, ces encodages ne prennent pas en compte un contexte plus large qu'un seul mot, et c'est seulement au travers des couches récurrentes ultérieures que l'information sur les mots ou les sous-mots interagit. Dans cet article, nous examinons des modèles utilisant des réseaux de neurones récurrents avec un contexte au niveau de la phrase pour les représentations initiales basées sur les caractères et les mots. Nous montrons en particulier que des résultats optimaux sont obtenus en intégrant ces représentations sensibles au contexte par une formation synchronisée avec un méta-modèle qui apprend à combiner leurs états. Nous présentons des résultats sur le marquage des classes grammaticales et la morphologie, avec des performances de pointe sur plusieurs langues.