Wir untersuchen die Eigenschaften von byte-basierten rekurrenten Sprachmodellen. Bei ausreichender Kapazität, Trainingsdaten und Rechenzeit lernen diese Modelle Darstellungen, die entkoppelte Merkmale umfassen, die hohen Konzepten entsprechen. Insbesondere finden wir eine einzelne Einheit, die Sentimentanalyse durchführt. Diese Darstellungen, die auf unsupervisierter Weise gelernt wurden, erreichen den aktuellen Stand der Technik im binären Teil des Stanford Sentiment Treebanks. Sie sind auch sehr dateneffizient. Wenn nur wenige beschriftete Beispiele verwendet werden, entspricht unser Ansatz der Leistung starker Baseline-Modelle, die auf vollständigen Datensätzen trainiert wurden. Wir zeigen außerdem, dass die Sentiment-Einheit einen direkten Einfluss auf den generativen Prozess des Modells hat. Einfaches Festlegen ihres Werts als positiv oder negativ erzeugt Stichproben mit dem entsprechenden positiven oder negativen Sentiment.