شبكة الانتباه المصنفة تراتبيًا ومكررة للتصنيف التتابعي

تم استخدام نموذج CRF (Conditional Random Field) كنموذج قوي للتصنيف الإحصائي للسلسلة. ومع ذلك، في حالة التصنيف العصبي للسلسلة، لا يقود نموذج BiLSTM-CRF دائمًا إلى نتائج أفضل مقارنة بنموذج التصنيف المحلي BiLSTM-softmax. يمكن أن يكون السبب في ذلك هو أن النموذج البسيط لانتقال العلامات الماركوفية في CRF لا يوفر الكثير من زيادة المعلومات فوق الترميز العصبي القوي. لتمثيل سلاسل العلامات بشكل أفضل، نقوم بدراسة شبكة انتباه متدرجة ومكررة للعلامات، والتي تستغل بشكل صريح تضمينات العلامات وتقتنص الارتباطات طويلة الأجل المحتملة للعلامات من خلال إعطاء كل كلمة توزيعات علامات مكررة ومحددة بشكل متدرج باستخدام انتباه متدرج. تظهر النتائج على تصنيف الأجزاء (POS tagging)، وتسمية الكيانات المعروفة (NER)، وتصنيف الفوق جملة CCG (CCG supertagging) أن النموذج المقترح ليس فقط يحسن دقة التصنيف الشامل مع عدد مشابه من المعلمات، بل يسرع أيضًا التدريب والاختبار بشكل كبير مقارنة بـ BiLSTM-CRF.