Nous explorons les propriétés des modèles de langage récurrents au niveau des octets. Lorsqu'ils disposent d'une capacité suffisante, de données d'entraînement et de temps de calcul adéquats, les représentations apprises par ces modèles incluent des caractéristiques désentrelacées correspondant à des concepts de haut niveau. Plus précisément, nous avons identifié une seule unité qui effectue l'analyse de sentiment. Ces représentations, apprises de manière non supervisée, atteignent l'état de l'art sur le sous-ensemble binaire du Stanford Sentiment Treebank. Elles sont également très efficaces en termes de données. En utilisant seulement quelques exemples étiquetés, notre approche égale les performances des méthodes de référence entraînées sur des jeux de données complets. Nous démontrons également que l'unité de sentiment a une influence directe sur le processus génératif du modèle. En fixant simplement sa valeur pour qu'elle soit positive ou négative, nous générons des échantillons avec le sentiment correspondant positif ou négatif.