HyperAIHyperAI
منذ 2 أشهر

دمج نموذج ترانسفورمر وقواعد إعادة الصياغة لتبسيط الجمل

Sanqiang Zhao; Rui Meng; Daqing He; Saptono Andi; Parmanto Bambang
دمج نموذج ترانسفورمر وقواعد إعادة الصياغة لتبسيط الجمل
الملخص

يهدف تبسيط الجمل إلى تقليل تعقيدها مع الحفاظ على معناها الأصلي. اعتمد النماذج الحالية لتبسيط الجمل أفكارًا من دراسات الترجمة الآلية وتعلمت بشكل ضمني قواعد الخرائط البسيطة من أزواج الجمل العادية والبسيطة. في هذا البحث، نستكشف نموذجًا جديدًا يستند إلى هندسة متعددة الطبقات ومراقبة متعددة الرؤوس (Multi-layer and Multi-head Attention Architecture)، ونقترح طريقتين مبتكرتين لدمج Simple PPDB (قاعدة بيانات إعادة الصياغة للتبسيط)، وهي قاعدة معرفية خارجية للتبسيط تغطي مجموعة واسعة من قواعد التبسيط الواقعية. تظهر التجارب أن الدمج يوفر فائدتين رئيسيتين: (1) يتفوق النموذج المدمج على العديد من النماذج الأساسية الأكثر تقدمًا في الأدبيات المتعلقة بتبسيط الجمل، (2) من خلال تحليل استخدام القواعد، يسعى النموذج إلى اختيار قواعد التبسيط الأكثر دقة. يمكن الوصول إلى الكود والنماذج المستخدمة في البحث عبر الرابط: https://github.com/Sanqiang/text_simplification.

دمج نموذج ترانسفورمر وقواعد إعادة الصياغة لتبسيط الجمل | أحدث الأوراق البحثية | HyperAI