最近の研究では、ニューラルネットワークが複数の異なるシーケンスタギングタスクにおいて最先端の性能を達成していることが示されています。このようなシステムの魅力的な特徴の一つは、その汎用性で、統一されたアーキテクチャを使用し、タスク固有の特徴エンジニアリングなしで優れた性能を達成することができます。しかし、大量の学習データがないタスクに対してこれらのシステムが使用できるかどうかは明確ではありません。本論文では、豊富なアノテーションを持つソースタスク（例：Penn Treebankでの品詞タグ付け）を使用して、利用可能なアノテーションが少ないターゲットタスク（例：マイクロブログでの品詞タグ付け）の性能を向上させるための転移学習の問題を探ります。我々は、ドメイン間、アプリケーション間、言語間における深層階層リカレントネットワークの転移学習の効果を検討し、しばしば有意な改善が得られることを示します。これらの改善により、いくつかのよく研究されているタスクにおいて現在の最先端を超える成果が得られています。