De nombreux efforts ont été consacrés à l'évaluation de la possibilité d'utiliser l'apprentissage multi-tâches pour apprendre des représentations riches qui peuvent être utilisées dans diverses applications en aval du traitement automatique des langues naturelles (TALN). Cependant, il manque encore une compréhension claire des conditions dans lesquelles l'apprentissage multi-tâches a un effet significatif. Dans ce travail, nous introduisons un modèle hiérarchique formé dans un cadre d'apprentissage multi-tâches sur un ensemble de tâches sémantiques soigneusement sélectionnées. Le modèle est formé de manière hiérarchique pour introduire un biais inductif en supervisant un ensemble de tâches de bas niveau aux couches inférieures du modèle et des tâches plus complexes aux couches supérieures. Ce modèle obtient des résultats d'état de l'art sur plusieurs tâches, notamment la reconnaissance d'entités nommées, la détection de mentions d'entités et l'extraction de relations, sans caractéristiques conçues manuellement ni outils externes de TALN tels que les analyseurs syntaxiques. La supervision hiérarchique de la formation induit un ensemble de représentations sémantiques partagées aux couches inférieures du modèle. Nous montrons que lorsque nous passons des couches inférieures aux couches supérieures du modèle, les états cachés des couches tendent à représenter des informations sémantiques plus complexes.