إدراج الانتباه إلى الكلمات في التجزئة الأساسية بالحروف

تم تطبيق نماذج الشبكات العصبية بشكل نشط على تقسيم الكلمات، خاصة باللغة الصينية، نظرًا لقدرتها على تقليل الجهد المطلوب في هندسة الميزات. وتصنف النماذج النموذجية لتقسيم الكلمات إلى نوعين: نموذج مبني على الحروف، والذي يُستخدم لتحقيق استنتاج دقيق، ونموذج مبني على الكلمات، والذي يستفيد من المعلومات على مستوى الكلمة. ونُقدّم نموذجًا مبنيًا على الحروف يستخدم معلومات الكلمة بهدف الاستفادة من مزايا النوعين معًا. يتعلم نموذجنا أهمية عدة كلمات مرشحة لحرف معين بناءً على آلية الانتباه، ثم يستخدم هذه المعلومة في اتخاذ قرارات التقسيم. وأظهرت النتائج التجريبية أن نموذجنا يحقق أداءً أفضل من النماذج الرائدة في مجالها على مجموعتي بيانات معياريتي اليابانية والصينية.