نموذج مشترك لمهام متعددة: تطوير شبكة عصبية للعديد من مهام معالجة اللغة الطبيعية

الترجمة والتعلم متعدد المهام كانت تقليديًا تركز على زوج واحد من المصدر والهدف أو مهام قليلة جدًا ومتشابهة. المثالي هو أن يستفيد المستويات اللغوية للصيغة (morphology) والنحو (syntax) والمعاني (semantics) من بعضها البعض من خلال التدريب في نموذج واحد. نقدم نموذجًا مشتركًا لمهام عديدة مع استراتيجية لزيادة عمقه تدريجيًا لحل مهام متزايدة التعقيد. تتضمن الطبقات العليا اتصالات مباشرة بالتنبؤات الخاصة بالطبقات الأدنى لتوضيح الهرميات اللغوية. نستخدم حدًا تنظيميًا بسيطًا يسمح بتحسين جميع أوزان النموذج لتحسين خسارة مهمة واحدة دون إظهار تداخل كارثي للمهام الأخرى. يحصل نموذجنا الفردي الذي يعمل من البداية إلى النهاية على أفضل النتائج أو نتائج تنافسية في خمس مهام مختلفة، بما في ذلك التسمية (tagging)، التحليل النحوي (parsing)، مهام الصلة (relatedness)، ومهام الاستنباط (entailment).