HyperAIHyperAI

Command Palette

Search for a command to run...

استرخاء مستمر لبحث الشعاع للتدريب من البداية إلى النهاية لنموذج التسلسل العصبي

Kartik Goyal Graham Neubig Chris Dyer Taylor Berg-Kirkpatrick

الملخص

البحث الشعاعي هو خيار مفضل لخوارزمية فك التشفير في وقت الاختبار للنماذج العصبية المتسلسلة لأنه يتجنب بشكل محتمل أخطاء البحث التي ترتكبها الطرق الجشعة البسيطة. ومع ذلك، فإن الإجراءات النموذجية لتدريب المتقاطع للأنموذج لا تأخذ بعين الاعتبار سلوك طريقة الفك النهائية مباشرة. نتيجة لذلك، يمكن أن يؤدي فك التشفير الشعاعي في بعض الأحيان إلى تدهور أداء الاختبار عند المقارنة مع فك التشفير الجشع للموديلات المدربة على المتقاطع. من أجل تدريب نماذج يمكنها الاستفادة بشكل أكثر فعالية من البحث الشعاعي، نقترح إجراء تدريبيًا جديدًا يركز على مقياس الخسارة النهائي (مثل خسارة هامينغ) الذي يتم تقييمه على مخرجات البحث الشعاعي. رغم أنه جيد التعريف، فإن هذا الهدف "الخسارة المباشرة" غير مستمر وبالتالي صعب التحسين. ولذلك، في نهجنا، نشكل هدفًا بديلاً قابلاً للتفاضل الجزئي من خلال تقديم تقريب متصل جديد لعملية فك التشفير الشعاعي. في التجارب، نظهر أن تحسين هذا الهدف التدريبي الجديد يحقق نتائج أفضل بكثير في مهمتين متسلسلتين (التعرف على الكيانات المسماة ووضع العلامات الفوقية لـ CCG) عند المقارنة مع كل من فك التشفير الجشع والمتدرب بالمقتاطع وفك التشفير الشعاعي كأساسيات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp