Le transfert d'apprentissage et l'apprentissage multi-tâches se sont traditionnellement concentrés sur un seul couple source-cible ou sur très peu de tâches similaires. Idéalement, les niveaux linguistiques de la morphologie, de la syntaxe et de la sémantique devraient s'entraider en étant formés dans un modèle unique. Nous présentons un modèle multi-tâches conjoint, accompagné d'une stratégie pour augmenter progressivement sa profondeur afin de résoudre des tâches de plus en plus complexes. Les couches supérieures incluent des connexions raccourcies vers les prédictions des tâches de niveau inférieur pour refléter les hiérarchies linguistiques. Nous utilisons un terme de régularisation simple pour permettre l'optimisation de tous les poids du modèle afin d'améliorer la perte d'une tâche sans provoquer une interférence catastrophique des autres tâches. Notre modèle unique et bout-à-bout obtient des résultats à l'état de l'art ou compétitifs sur cinq tâches différentes, comprenant des tâches d'étiquetage, d'analyse syntaxique, de similarité et d'entailment (implication logique).