私たちは、データセット内のすべての単語に対して周辺の単語を予測するという二次的な学習目標を持つ系列ラベリングフレームワークを提案します。この言語モデリング目標は、システムが意味的および文法的な構成の汎用的なパターンを学習することを促進し、異なる系列ラベリングタスクの精度向上にも役立ちます。当該アーキテクチャは、学習者テキストの誤り検出、固有表現認識、チャンキング（文節分割）、品詞タグ付けなどの一連のデータセットで評価されました。新しい言語モデリング目標は、追加の注釈付きまたは非注釈付きデータを必要とせずに、各ベンチマークで一貫した性能向上をもたらしました。