PhraseTransformer: دمج معلومات السياق المحلي في التحليل الدلالي من التسلسل إلى التسلسل
يُعد تحليل الدلالة مهمة صعبة تتمثل في تحويل عبارة بلغة طبيعية إلى تمثيل معلومات يمكن للآلة فهمه. في الآونة الأخيرة، حققت الطرق التي تعتمد على الترجمة الآلية العصبية (NMT) نتائج واعدة، لا سيما نموذج Transformer. ومع ذلك، فإن العيب الرئيسي في تكييف نموذج Transformer الأصلي لتحليل الدلالة هو أنه لا يأخذ في الاعتبار العبارات عند التعبير عن معنى الجملة، في حين أن العبارات تلعب دورًا مهمًا في بناء معنى الجملة. لذلك، نقترح معمارية تُسمى PhraseTransformer، التي تُتيح تمثيلًا أدق للدلالة من خلال تعلم الاعتماد بين العبارات داخل الجملة. الفكرة الأساسية تكمن في دمج ذاكرة التكرار الطويلة (LSTM) في آلية الانتباه الذاتي (Self-Attention) الخاصة بـ Transformer الأصلي، بهدف التقاط السياق المحلي لكلمة. أظهرت النتائج التجريبية أن النموذج المقترح يتفوق على Transformer الأصلي من حيث فهم بنية الجملة والتمثيل المنطقي، كما يعزز وعي النموذج بالسياق المحلي دون الحاجة إلى معلومات شجرية خارجية. علاوةً على ذلك، وعلى الرغم من دمج البنية التكرارية، يظل عدد العمليات التسلسلية في PhraseTransformer في الدرجة (1)، مشابهًا لـ Transformer الأصلي. حقق النموذج المقترح أداءً قويًا وتنافسيًا على مجموعتي بيانات Geo وMSParS، وحقق أفضل أداء (SOTA) على مجموعة بيانات Atis بالنسبة للطرق التي تعتمد على الشبكات العصبية. بالإضافة إلى ذلك، لتأكيد قدرة النموذج على التعميم، أجرينا تجارب واسعة على ثلاث مجموعات بيانات للترجمة: IWLST14 (الألمانية-الإنجليزية)، IWSLT15 (الفيتنامية-الإنجليزية)، وWMT14 (الإنجليزية-الألمانية)، وأظهرت نتائج ملموسة في التحسن. يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/phuongnm94/PhraseTransformer.git.