Viel Mühe wurde darauf verwendet, zu evaluieren, ob das Multi-Task-Lernen genutzt werden kann, um reichhaltige Darstellungen zu erlernen, die in verschiedenen Anwendungen der Natürlichen Sprachverarbeitung (NLP) eingesetzt werden können. Allerdings fehlt es noch an einem tieferen Verständnis der Szenarien, in denen das Multi-Task-Lernen einen signifikanten Effekt hat. In dieser Arbeit stellen wir ein hierarchisches Modell vor, das in einer Multi-Task-Lernkonfiguration auf einer Reihe sorgfältig ausgewählter semantischer Aufgaben trainiert wird. Das Modell wird hierarchisch trainiert, um durch die Überwachung von niedrigstufigen Aufgaben in den unteren Schichten und komplexeren Aufgaben in den oberen Schichten des Modells einen induktiven Bias einzuführen. Dieses Modell erzielt Stand-of-the-Art-Ergebnisse bei mehreren Aufgaben, nämlich der Namensentitätserkennung (Named Entity Recognition), der Entitätsnennungserkennung (Entity Mention Detection) und der Relationsextraktion, ohne handgefertigte Merkmale oder externe NLP-Werkzeuge wie syntaktische Parser zu verwenden. Die hierarchische Trainingsüberwachung induziert eine Reihe gemeinsamer semantischer Darstellungen in den unteren Schichten des Modells. Wir zeigen, dass die verborgenen Zustände der Schichten sich von den unteren zu den oberen Schichten hin zunehmend komplexerer semantischer Information annähern.