استرخاء مستمر لبحث الشعاع للتدريب من البداية إلى النهاية لنموذج التسلسل العصبي

البحث الشعاعي هو خيار مفضل لخوارزمية فك التشفير في وقت الاختبار للنماذج العصبية المتسلسلة لأنه يتجنب بشكل محتمل أخطاء البحث التي ترتكبها الطرق الجشعة البسيطة. ومع ذلك، فإن الإجراءات النموذجية لتدريب المتقاطع للأنموذج لا تأخذ بعين الاعتبار سلوك طريقة الفك النهائية مباشرة. نتيجة لذلك، يمكن أن يؤدي فك التشفير الشعاعي في بعض الأحيان إلى تدهور أداء الاختبار عند المقارنة مع فك التشفير الجشع للموديلات المدربة على المتقاطع. من أجل تدريب نماذج يمكنها الاستفادة بشكل أكثر فعالية من البحث الشعاعي، نقترح إجراء تدريبيًا جديدًا يركز على مقياس الخسارة النهائي (مثل خسارة هامينغ) الذي يتم تقييمه على مخرجات البحث الشعاعي. رغم أنه جيد التعريف، فإن هذا الهدف "الخسارة المباشرة" غير مستمر وبالتالي صعب التحسين. ولذلك، في نهجنا، نشكل هدفًا بديلاً قابلاً للتفاضل الجزئي من خلال تقديم تقريب متصل جديد لعملية فك التشفير الشعاعي. في التجارب، نظهر أن تحسين هذا الهدف التدريبي الجديد يحقق نتائج أفضل بكثير في مهمتين متسلسلتين (التعرف على الكيانات المسماة ووضع العلامات الفوقية لـ CCG) عند المقارنة مع كل من فك التشفير الجشع والمتدرب بالمقتاطع وفك التشفير الشعاعي كأساسيات.