CriSPO: تحسين الوظائف التلقائي الموجه بالانتقادات والاقتراحات المتعددة الجوانب لتكوين النص

الطرق الحالية لتصميم التحفيزات التلقائية مصممة عادةً للمهام التمييزية، حيث يتم تحسين التحفيزات الجديدة بشكل تدريجي باستخدام ملاحظات محدودة من مؤشر واحد يعكس جوانب واحدة. ومع ذلك، هذه الطرق غير مثلى للمهام الإنشائية، التي تتطلب إرشادات أكثر دقة تتجاوز المؤشر الرقمي الواحد لتحسين التحفيز وتحسين العديد من جوانب النص المُنتج. لمعالجة هذه التحديات، نقترح نهجًا جديدًا متعدد الجوانب يعتمد على النقد والإقتراح لتحسين التحفيزات تلقائيًا (CriSPO). يُقدم CriSPO وحدة نقد وإقتراح كمكون رئيسي له. تقوم هذه الوحدة باكتشاف الجوانب بشكل ذاتي، ومقارنة النصوص المنتجة مع النصوص المرجعية عبر هذه الجوانب، وتوفير اقتراحات محددة لتعديل التحفيز. توجه هذه النقدات الواضحة والاقتراحات القابلة للتنفيذ وحدة مُحسّنة مستقبلة إلى إجراء تغييرات أكثر جوهرية، واستكشاف مجال بحث أوسع وأكثر فعالية. لتحسين CriSPO بشكل أكبر باستخدام تحسين متعدد المؤشرات، نقدم توسيعًا يُعرف بـ "ضبط الملحقات التلقائي" (AST) لتعزيز أداء تحفيزات المهام عبر عدة مؤشرات. قمنا بتقييم CriSPO على 4 من أفضل نماذج اللغويات العميقة (LLMs) وعلى 4 مجموعات بيانات للملخص وإجابات 5 أسئلة. أظهرت التجارب الواسعة تحسنًا بنسبة 3-4% في درجات ROUGE للملخص، وتحسنًا كبيرًا في عدة مؤشرات لإجابات الأسئلة. يمكن الحصول على الكود من الرابط: https://github.com/amazon-science/crispo