تستخدم هياكل تصنيف التسلسل تمثيلات الكلمات المضمنة للكشف عن التشابه، ولكنها تعاني عند التعامل مع الكلمات الغير مألوفة أو النادرة. نقوم في هذا البحث بدراسة توسيعات على مستوى الحروف لهذه النماذج واقتراح بنية جديدة لدمج تمثيلات الكلمات البديلة. من خلال استخدام آلية الانتباه (attention mechanism)، يكون النموذج قادرًا على اتخاذ قرار ديناميكي حول كمية المعلومات التي يجب استخدامها من مكون على مستوى الكلمة أو الحرف. قمنا بتقييم هياكل مختلفة على مجموعة متنوعة من مجموعات بيانات تصنيف التسلسل، وقد تبين أن التوسيعات على مستوى الحروف تحسن الأداء في كل المعايير المرجعية. بالإضافة إلى ذلك، أنتجت البنية المقترحة المستندة إلى آلية الانتباه أفضل النتائج حتى مع عدد أقل من المعلمات القابلة للتدريب.