许多研究致力于评估多任务学习是否可以用于学习丰富的表示，这些表示可以在各种自然语言处理（NLP）下游应用中使用。然而，对于多任务学习在哪些情况下具有显著效果，目前仍缺乏深入的理解。在这项工作中，我们引入了一种在多任务学习设置下训练的层次模型，该模型基于一组精心选择的语义任务进行训练。通过在模型的底层监督低级任务，在顶层监督更复杂的任务，以层次方式训练模型，从而引入归纳偏置。该模型在多个任务上取得了最先进的结果，包括命名实体识别、实体提及检测和关系抽取，而无需手工设计的特征或外部自然语言处理工具（如句法分析器）。层次训练监督使得模型的较低层生成了一系列共享的语义表示。我们展示了从模型的底层到顶层，各层的隐藏状态逐渐代表了更为复杂的语义信息。