تحسين احتمالية التسلسل من خلال المعايرة يُحسّن التوليد اللغوي الشرطي

تُدرَّس نماذج اللغة الشرطية بشكل رئيسي باستخدام تقدير الاحتمال الأقصى (MLE)، مما يُعطي كتلة احتمالية للسلاسل المستهدفة التي تُلاحظ بشكل نادر. وعلى الرغم من أن النماذج المدربة باستخدام MLE تُعيّن احتمالات عالية للسلاسل المنطقية بناءً على السياق، إلا أن احتمالات النموذج غالبًا ما لا تُرتب بشكل دقيق بين السلاسل المولَّدة حسب جودتها. وقد لُوحظ هذا تجريبيًا في تفكيك الشعاع (beam search)، حيث تقل جودة المخرجات مع زيادة حجم الشعاع، كما أن استراتيجيات التفكيك تُظهر فائدة من استخدام خوارزميات تحسينية مثل التطبيع الطولي وحظر التكرار. في هذا العمل، نقدّم تكييف احتمالية السلسلة (SLiC)، حيث يتم تكييف احتمالات السلاسل التي يولدها النموذج لتنسق بشكل أفضل مع السلاسل المرجعية في الفضاء الخفي للنموذج. وباستخدام SLiC، تصبح الخوارزميات التحسينية غير ضرورية، وتحسّن جودة المرشحات المستخرجة بشكل كبير بغض النظر عن طريقة التفكيك المستخدمة. علاوة على ذلك، لا تُظهر SLiC أي علامة على التراجع في الفعالية مع زيادة حجم النموذج، وتُقدّم طرقًا بديلة لتحسين الجودة ضمن ميزانيات تدريب واستنتاج محدودة. وباستخدام SLiC، نتفوّق على أو نُوازي النتائج القياسية (SOTA) في مجموعة واسعة من مهام الإنشاء، تشمل التلخيص الاستنتاجي، وإنشاء الأسئلة، والإجابة على الأسئلة الاستنتاجية، وإنشاء النص من البيانات، حتى باستخدام نماذج ذات حجم معتدل.