تعلم بناء تمثيلات النص في الأنظمة من البداية إلى النهاية (end-to-end) يمكن أن يكون صعبًا، نظرًا لكون اللغات الطبيعية ذات تركيب عالي ومحددة حسب المهمة، وغالبًا ما تكون قواعد البيانات المُشَرَّحة حسب المهمة محدودة الحجم. يمكن أن تسمح طرق الإشراف المباشر على تركيب اللغة بتعزيز النماذج بناءً على المعرفة الموجودة، مما يجعلها أكثر ثباتًا وقابلية للتفسير. في هذا البحث، ندرس كيفية استخدام الأهداف بمستويات مختلفة من التفصيل لتعلم تمثيلات أفضل للغة، ونقترح هندسة مشتركة لتعلم تصنيف الجمل والرموز (tokens) معًا. يتم دمج التوقعات على كل مستوى باستخدام آلية الانتباه (attention mechanism)، حيث تعمل العلامات على مستوى الرموز أيضًا كإشراف صريح لتركيب تمثيلات على مستوى الجمل. تظهر تجاربنا أن تعلم أداء هذه المهام بشكل مشترك على مستويات متعددة يؤدي إلى تحسينات كبيرة في تصنيف الجمل وتسمية التسلسل.