تطور الدعوات في السياق: منظور مفتوح وذاتي التكرار

نقترح نموذجًا جديدًا لتصميم الدعوات يتحدى الحكمة التقليدية في تحفيز النماذج اللغوية الكبيرة (LLM). بينما تركز الحكمة التقليدية على تعليمات وعروض مُعدة بعناية للتعلم السياقي (ICL)، نظهر أن تقليم العروض العشوائية إلى ما يبدو أنه "هراء" يمكن أن يحسن الأداء بشكل ملحوظ عبر مجموعة متنوعة من المهام. وبشكل لافت، فإن هذا "الهراء" دائمًا ما يتفوق أو يساوي أحدث تقنيات التحسين الآلي للدعوات، مما يحقق مكاسب كبيرة بغض النظر عن توافق LLM. ومع ذلك، اكتشاف استراتيجية تقليم فعالة ليس بالأمر البسيط، حيث تفشل الأساليب الحالية للتفسير والضغط على الدعوات في تقديم نتائج قوية، وليس فقط الحدس البشري. في هذا الإطار، نقترح إطار عمل تحسين الدعوات الذاتي الاكتشاف PromptQuine، وهو إطار بحث تطوري يقوم بالبحث عن استراتيجية التقليم بشكل آلي باستخدام بيانات قليلة فقط. تمامًا مثل التعقيد الناشئ في الطبيعة--مثل التكافل الذاتي والتنظيم الذاتي--الذي ينشأ استجابةً لقيود الموارد، يتطور ويصقل إطار عملنا دعوات غير تقليدية ولكنها فعالة للغاية من خلال الاستفادة فقط من الرموز الموجودة داخل السياق. نوضح فعاليتها عبر مهام التصنيف والإجابة على الأسئلة ذات الخيارات المتعددة والتوليد والاستدلال الرياضي عبر النماذج اللغوية الكبيرة، مع تحقيق كفاءة تشغيلية جيدة. نأمل أن توجه نتائجنا الدراسات الآلية حول التعلم السياقي وتدعو إلى العمل لإيجاد خوارزميات البحث الأكثر انفتاحًا لتحقيق تحفيز أكثر فعالية للنماذج اللغوية الكبيرة.