تستخدم العديد من تطبيقات معالجة اللغة الطبيعية نماذج اللغة لإنشاء النصوص. يتم تدريب هذه النماذج عادةً على التنبؤ بالكلمة التالية في سلسلة، بناءً على الكلمات السابقة وبعض السياق مثل الصورة. ومع ذلك، يُتوقع من النموذج عند وقت الاختبار أن يولد السلسلة بأكملها من البداية. يؤدي هذا التباين إلى جعل الإنتاج هشًا، حيث قد تتراكم الأخطاء على طول الطريق. نعالج هذه المشكلة بطرح خوارزمية تدريب جديدة على مستوى السلسلة تقوم بتحسين المقياس المستخدم في وقت الاختبار مباشرةً، مثل BLEU أو ROUGE. في ثلاث مهام مختلفة، أثبتت طريقتنا تفوقها على عدة نقاط مرجعية قوية لإنشاء الجشع (greedy generation). كما أن الطريقة تنافسية عندما تستخدم هذه النقاط المرجعية البحث الشعاعي (beam search)، بينما تكون أسرع بمرات عديدة.