تم بذل جهود كبيرة لتقييم إمكانية الاستفادة من التعلم متعدد المهام لتعلم تمثيلات غنية يمكن استخدامها في مختلف تطبيقات المعالجة اللغوية الطبيعية (NLP). ومع ذلك، لا يزال هناك نقص في فهم الظروف التي يكون فيها التعلم متعدد المهام له تأثير كبير. في هذا العمل، نقدم نموذجًا هرميًا تم تدريبه في إطار التعلم متعدد المهام على مجموعة من المهام الدلالية المختارة بعناية. يتم تدريب النموذج بطريقة هرمية لإدخال تحيز استقرائي عن طريق مراقبة مجموعة من المهام ذات المستوى المنخفض في طبقات النموذج السفلية ومهام أكثر تعقيدًا في طبقات النموذج العلوية. يحقق هذا النموذج أفضل النتائج الحالية في عدد من المهام، مثل تحديد الكيانات المسماة (Named Entity Recognition)، اكتشاف ذكر الكيانات (Entity Mention Detection) واستخراج العلاقات (Relation Extraction) دون الحاجة إلى خصائص مصممة يدويًا أو أدوات NLP خارجية مثل محللي الجملة التركيبية (syntactic parsers). يؤدي التدريب الإشرافي الهرمي إلى إنشاء مجموعة من التمثيلات الدلالية المشتركة في الطبقات السفلية للنموذج. نوضح أن عند الانتقال من الطبقات السفلية إلى الطبقات العلوية للنموذج، فإن الحالات الخفية للطبقات تميل إلى تمثيل معلومات دلالية أكثر تعقيدًا.