HyperAIHyperAI

Command Palette

Search for a command to run...

تطور الدعوات في السياق: منظور مفتوح وذاتي التكرار

Wang Jianyu Hu Zhiqiang Bing Lidong

الملخص

نقترح نموذجًا جديدًا لتصميم الدعوات يتحدى الحكمة التقليدية في تحفيز النماذج اللغوية الكبيرة (LLM). بينما تركز الحكمة التقليدية على تعليمات وعروض مُعدة بعناية للتعلم السياقي (ICL)، نظهر أن تقليم العروض العشوائية إلى ما يبدو أنه "هراء" يمكن أن يحسن الأداء بشكل ملحوظ عبر مجموعة متنوعة من المهام. وبشكل لافت، فإن هذا "الهراء" دائمًا ما يتفوق أو يساوي أحدث تقنيات التحسين الآلي للدعوات، مما يحقق مكاسب كبيرة بغض النظر عن توافق LLM. ومع ذلك، اكتشاف استراتيجية تقليم فعالة ليس بالأمر البسيط، حيث تفشل الأساليب الحالية للتفسير والضغط على الدعوات في تقديم نتائج قوية، وليس فقط الحدس البشري. في هذا الإطار، نقترح إطار عمل تحسين الدعوات الذاتي الاكتشاف PromptQuine، وهو إطار بحث تطوري يقوم بالبحث عن استراتيجية التقليم بشكل آلي باستخدام بيانات قليلة فقط. تمامًا مثل التعقيد الناشئ في الطبيعة--مثل التكافل الذاتي والتنظيم الذاتي--الذي ينشأ استجابةً لقيود الموارد، يتطور ويصقل إطار عملنا دعوات غير تقليدية ولكنها فعالة للغاية من خلال الاستفادة فقط من الرموز الموجودة داخل السياق. نوضح فعاليتها عبر مهام التصنيف والإجابة على الأسئلة ذات الخيارات المتعددة والتوليد والاستدلال الرياضي عبر النماذج اللغوية الكبيرة، مع تحقيق كفاءة تشغيلية جيدة. نأمل أن توجه نتائجنا الدراسات الآلية حول التعلم السياقي وتدعو إلى العمل لإيجاد خوارزميات البحث الأكثر انفتاحًا لتحقيق تحفيز أكثر فعالية للنماذج اللغوية الكبيرة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تطور الدعوات في السياق: منظور مفتوح وذاتي التكرار | مستندات | HyperAI