HyperAIHyperAI

Command Palette

Search for a command to run...

التدريب بدون الكتاب لتحسين ذاكرة ملخص المُشفِّر

Yichen Jiang Mohit Bansal

الملخص

يجب أن يكون لنموذج تلخيص جيد للسلاسل العصبية مُشفِّر قوي قادر على استخلاص وتذكر المعلومات الهامة من النصوص الإدخال الطويلة بحيث يمكن للمُفكِّك إنشاء ملخصات بارزة بناءً على ذاكرة المُشفِّر. في هذا البحث، نهدف إلى تحسين قدرات الذاكرة للمُشفِّر في نموذج الجَنَّاح المُشِير بإضافة مُفكِّك إضافي "مغلق الكتاب" بدون آليات الانتباه والتشوير. يجبر هذا المُفكِّك الإضافي المُشفِّر على أن يكون أكثر اختيارية في المعلومات المشفرة في حالته الذاكرية لأن المُفكِّك لا يمكنه الاعتماد على المعلومات الإضافية التي توفرها آليات الانتباه وربما الوحدات النسخية، مما يحسن النموذج بأكمله. على مجموعة بيانات CNN/دايلي ميل، أظهر نموذجنا ذو المُفكِّكيْن الأداء بشكل كبير أفضل من النموذج الأساسي بحسب مقاييس ROUGE وMETEOR، لكل من التكوينات المعتمدة على التوزيع العرضي والتقوية (وبالنسبة لتقييم البشر). علاوة على ذلك، حقق نموذجنا درجات أعلى أيضًا في تكوين قابلية التعميم لاختبار DUC-2002 فقط. نقدم أيضًا اختبارًا لقدرة الذاكرة، ومقياسين للبروز، بالإضافة إلى عدة عمليات تقليم فحص صحة (بناءً على مُشفِّر ثابت، وقطع تدفق التدرج، وسعة النموذج) لإثبات أن مُشفِّر نموذجنا ذو المُفكِّكيْن يتعلم بالفعل تمثيلات ذاكرة أقوى من مُشفِّر النموذج الأساسي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp