نقترح إطارًا للتصنيف التتابعي مع هدف تدريبي ثانوي، يتمثل في تعلم التنبؤ بالكلمات المحيطة بكل كلمة في مجموعة البيانات. يحفز هذا الهدف النمذجي للغة النظام على تعلم أنماط عامة للتراكيب الدلالية والنحوية، والتي تكون مفيدة أيضًا لتحسين الدقة في مهام مختلفة للتصنيف التتابعي. تم تقييم الهندسة المعمارية على مجموعة متنوعة من قواعد البيانات، التي تغطي مهام اكتشاف الأخطاء في نصوص المتعلمين، وتعرف الكيانات المسماة، والتقطيع وتحديد الوسوم النحوية (POS-tagging). قدّم الهدف النمذجي الجديد للغة تحسينات أداء مستقرة في كل مقاييس الأداء، دون الحاجة إلى أي بيانات إضافية مشهورة أو غير مشهورة.