تمثيل الكلمات باستخدام الاعتماد عبر الجملة لحل التماثل النهائية بالكامل

في هذه الدراسة، نقدم نموذجًا لتمثيل الكلمات يتعلم الاعتماد بين الجمل لتحسين حل التماثل النهاية-نهاية (E2E-CR). في حين أن النموذج التقليدي لـ E2E-CR يُولِّد تمثيلات الكلمات عن طريق تشغيل شبكات عصبية متكررة من نوع LSTM على كل جملة من جمل المقال أو المحادثة المدخلة بشكل منفصل، نقترح نموذجين لربط الجمل: نموذج ربط خطي ونموذج ربط باستخدام الانتباه، بهدف تعلم الاعتماد بين الجمل. وتمكّن هاتان الاستراتيجيتان لربط الجمل الـ LSTM من الاستفادة من المعلومات القيّمة من الجمل السياقية أثناء حساب تمثيل الكلمة الحالية. وباستخدام هذا النهج، تتعلم الـ LSTM تمثيلات كلمات تأخذ بعين الاعتبار المعرفة ليس فقط من الجملة الحالية، بل أيضًا من كامل المستند المدخل. تُظهر التجارب أن تعلُّم الاعتماد بين الجمل يُثري المعلومات المحتوية في تمثيلات الكلمات، ويُحسّن أداء نموذج التماثل مقارنةً بالنموذج القائم كأساس (baseline).