ニューラルネットワーク、特に再帰型ニューラルネットワーク（RNN）の発展により、品詞タグ付けの精度に大きな進歩が見られました。これらのモデルに共通する特徴の一つは、豊富な初期単語エンコーディングの存在です。これらのエンコーディングは通常、学習済みおよび事前学習された単語埋め込みを含む再帰的な文字ベース表現で構成されています。しかし、これらのエンコーディングは単一の単語を超える文脈を考慮しておらず、後続の再帰層を通じてのみ単語やサブワード情報が相互作用します。本論文では、文レベルの文脈を使用した初期の文字と単語ベース表現を生成するための再帰型ニューラルネットワークモデルについて調査を行いました。特に、これらの文脈依存表現を同期訓練によって統合し、その状態を組み合わせるメタモデルを学習することで最適な結果が得られることを示しています。私たちは複数言語における最新の性能を持つ品詞タグ付けおよび形態素解析タグ付けに関する結果を提示します。