La vision par ordinateur a bénéficié de l'initialisation de plusieurs couches profondes avec des poids pré-entraînés sur de grands ensembles d'apprentissage supervisés comme ImageNet. Le traitement du langage naturel (NLP) voit généralement l'initialisation uniquement de la couche la plus basse des modèles profonds avec des vecteurs de mots pré-entraînés. Dans cet article, nous utilisons un encodeur LSTM profond issu d'un modèle séquence-à-séquence à attention entraîné pour la traduction automatique (MT) afin de contextualiser les vecteurs de mots. Nous montrons que l'ajout de ces vecteurs contextuels (CoVe) améliore les performances par rapport à l'utilisation seule de vecteurs de mots et de caractères non supervisés sur une variété d'applications courantes en NLP : analyse de sentiments (SST, IMDb), classification de questions (TREC), inférence sémantique (SNLI) et réponse à des questions (SQuAD). Pour l'analyse de sentiments fine-grained et l'inférence sémantique, CoVe améliore les performances de nos modèles basiques jusqu'à atteindre l'état de l'art.