Sequenzmarkierungsaufgaben wie Dialogakt- und Emotions-/Stimmungserkennung sind eine zentrale Komponente von gesprochenen Dialogsystemen. In dieser Arbeit stellen wir einen neuen Ansatz zur Lernung generischer Darstellungen vor, die an gesprochene Dialoge angepasst sind, und evaluieren diesen auf einem neuen Benchmark, den wir Sequence Labelling Evaluation Benchmark for Spoken Language (SILICONE) nennen. SILICONE ist modellunabhängig und umfasst zehn verschiedene Datensätze unterschiedlicher Größe. Unsere Darstellungen werden mit einem hierarchischen Encoder basierend auf Transformer-Architekturen erzeugt, wobei wir zwei bekannte Vortrainingsziele erweitern. Das Vortrainingsverfahren erfolgt auf OpenSubtitles, einer großen Korpus gesprochener Dialoge mit über 2,3 Milliarden Tokens. Wir zeigen, dass hierarchische Encoder im Vergleich zu aktuellen State-of-the-Art-Modellen konkurrierende Ergebnisse mit systematisch geringerem Parameterumfang erzielen, und belegen deren Bedeutung sowohl für das Vortrainings- als auch für das Feintuning.