Wir schlagen einen sequenziellen Labeling-Rahmen mit einem sekundären Trainingsziel vor, bei dem für jedes Wort im Datensatz die umliegenden Wörter vorhergesagt werden sollen. Dieses Sprachmodellierungsziel ermutigt das System, allgemeine Muster der semantischen und syntaktischen Komposition zu lernen, die auch nützlich sind, um die Genauigkeit bei verschiedenen sequenziellen Labeling-Aufgaben zu verbessern. Die Architektur wurde anhand einer Reihe von Datensätzen evaluiert, die die Aufgaben der Fehlererkennung in Lernertexten, Named Entity Recognition (NER), Chunking und Part-of-Speech-Tagging (POS-Tagging) abdecken. Das neuartige Sprachmodellierungsziel brachte konsistente Leistungsverbesserungen auf jedem Benchmark, ohne zusätzliche annotierte oder unannotierte Daten zu benötigen.