Nous présentons un nouveau type de représentation de mots contextuels profonds qui modélise à la fois (1) les caractéristiques complexes de l'utilisation des mots (par exemple, la syntaxe et la sémantique), et (2) comment ces utilisations varient selon les contextes linguistiques (c'est-à-dire pour modéliser la polysémie). Nos vecteurs de mots sont des fonctions apprises des états internes d'un modèle de langage bidirectionnel profond (biLM), pré-entraîné sur un grand corpus textuel. Nous montrons que ces représentations peuvent être facilement ajoutées aux modèles existants et améliorent considérablement l'état de l'art dans six problèmes NLP difficiles, y compris le questionnement, l'entailment textuel et l'analyse de sentiments. Nous présentons également une analyse démontrant que l'exposition des entrailles profondes du réseau pré-entraîné est cruciale, permettant aux modèles en aval de mélanger différents types de signaux semi-supervisés.Note: - "questioning" is translated as "le questionnement" to maintain the formal tone.- "textual entailment" is a standard term in NLP and is translated as "l'entailment textuel."- "sentiment analysis" is a common term and is translated as "l'analyse de sentiments."- The phrase "exposing the deep internals of the pre-trained network" is translated as "l'exposition des entrailles profondes du réseau pré-entraîné" to convey the technical meaning accurately while maintaining a formal style.