HyperAIHyperAI

Command Palette

Search for a command to run...

نماذج الانتباه من الخشنة إلى الدقيقة للتلخيص المستند إلى المستندات

er Alex Rush Jeffrey Ling

الملخص

أثبتت نماذج التسلسل إلى التسلسل ذات الانتباه نجاحًا في مجموعة متنوعة من مسائل معالجة اللغة الطبيعية، لكن سرعتها لا تتوسع بشكل جيد في المهام التي تتضمن تسلسلاً مصدرًا طويلًا، مثل تلخيص المستندات. نقترح نموذج انتباه جديد من النوع التفصيلي-الشامل، والذي يقرأ المستند بشكل هرمي، باستخدام انتباه خشن لاختيار الحزم العليا من النص، وانتباه دقيق لقراءة الكلمات داخل الحزم المختارة. في حين أن حسابات تدريب نماذج الانتباه القياسية تتناسب خطيًا مع طول التسلسل المصدر، فإن طريقة نحن نقترحها تتناسب مع عدد الحزم العليا، ويمكنها التعامل مع تسلسلات أطول بكثير. من الناحية التجريبية، وجدنا أن نماذج الانتباه من النوع التفصيلي-الشامل تتأخر قليلاً عن النماذج القياسية المتطورة، لكن طريقتنا تحقق السلوك المطلوب المتمثل في الانتباه بشكل متباعد إلى مجموعات فرعية من المستند أثناء التوليد.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
نماذج الانتباه من الخشنة إلى الدقيقة للتلخيص المستند إلى المستندات | مستندات | HyperAI