تعزيز تمثيل الجمل باستخدام التجميع المعمم

التجميع هو مكون أساسي في مجموعة واسعة من نماذج تمثيل الجمل والغرسات. يبحث هذا البحث في طرق التجميع المعممة لتعزيز غرسات الجمل. نقترح انتباه متعدد الرؤوس مبني على المتجهات، والذي يشمل التجميع الأقصى (max pooling) والتجميع المتوسط (mean pooling) والانتباه الذاتي القياسي (scalar self-attention) كحالات خاصة. يستفيد النموذج من شروط عقوبة مصممة بشكل صحيح لتقليل التكرار في الانتباه المتعدد الرؤوس. قمنا بتقييم النموذج المقترح في ثلاث مهام مختلفة: الاستدلال اللغوي الطبيعي (NLI)، وتصنيف المؤلفين، وتصنيف المشاعر. تظهر التجارب أن النموذج المقترح حقق تحسينًا كبيرًا مقارنة بالطرق القائمة على ترميز الجمل القوية، مما أدى إلى أداء رائد في أربع قواعد بيانات. يمكن تنفيذ النهج المقترح بسهولة لمشكلات أكثر مما نناقشها في هذا البحث.