言語シーケンスラベリングは、品詞タグ付けや固有表現認識などの多様な問題を包括する一般的なモデリング手法である。最近のニューラルネットワーク（NNs）の進歩により、手作りの特徴量なしで信頼性のあるモデルを構築することが可能となった。しかし、多くの場合、これらのモデルを学習させるのに十分なアノテーションを得るのが難しい。本研究では、未加工のテキストに隠された豊富な知識を抽出し、シーケンスラベリングタスクを強化する新しいニューラルフレームワークを開発した。事前学習済みの単語埋め込みに含まれる単語レベルの知識だけでなく、文字認識型ニューラル言語モデルも組み込まれて、文字レベルの知識を抽出する。さらに、転移学習技術が採用され、異なるコンポーネント間の中立役割を果たし、言語モデルを重要な知識へと導く。従来の方法と比較して、これらのタスク固有の知識により、より簡潔なモデルを使用し、効率的な学習を行うことができる。ほとんどの転移学習方法とは異なり、提案されたフレームワークは追加の教師あり情報に依存していない。自己完結的な訓練シーケンスの順序情報から知識を抽出する。基準データセットでの広範な実験により、文字レベルの知識を利用することの有効性と共同学習の効率性が示された。例えば、CoNLL03 NER タスクにおいては、追加のアノテーションを使用せずに単一GPU上で約6時間でモデル学習が完了し、F1 スコア 91.71$\pm$±0.10 を達成した。