Wir kombinieren zeichenbasierte und kontextbezogene Sprachmodellrepräsentationen, um die Leistung bei der Diskursrepräsentationsstruktur-Verarbeitung zu verbessern. Zeichenrepräsentationen können in einem Sequenz-zu-Sequenz-Modell entweder in einem Encoder oder als vollständig getrennter Encoder hinzugefügt werden, wobei die Verbesserungen robust gegenüber verschiedenen Sprachmodellen, Sprachen und Datensätzen sind. Für das Englische sind diese Verbesserungen größer als das Hinzufügen einzelner linguistischer Informationsquellen oder nicht-kontextualisierter Einbettungen. Eine neue Analysemethode basierend auf semantischen Tags zeigt, dass die zeichenbasierten Repräsentationen die Leistung über einen Teilbereich ausgewählter semantischer Phänomene verbessern.