転移学習と多タスク学習は、従来、単一のソース-ターゲットペアまたは非常に類似した少数のタスクに焦点を当ててきました。理想的には、形態論、構文論、意味論の言語レベルが単一のモデルで訓練されることにより互いに利益を得ることができます。本研究では、複数のタスクを共同で処理するモデルと、その深さを段階的に増やしてますます複雑なタスクを解決するための戦略を導入します。上位層には下位層のタスク予測へのショートカット接続が含まれており、これは言語階層を反映しています。私たちは単純な正則化項を使用して、あるタスクの損失関数を改善するためにモデル全体の重みを最適化できるようにし、他のタスクに対する破壊的な干渉を示すことなくこれを実現します。私たちの単一のエンドツーエンドモデルは、品詞付与（tagging）、構文解析（parsing）、関連性評価（relatedness）、含意判定（entailment）などの5つの異なるタスクにおいて最先端または競争力のある結果を得ています。