هندسة السياق الواعي: تطور السياقات للنماذج اللغوية ذات التحسين الذاتي

الملخص
تُعتمد تطبيقات النماذج اللغوية الكبيرة (LLM) مثل الوكلاء والاستدلال المتخصص في مجالات معينة بشكل متزايد على التكيّف السياقي — أي تعديل المدخلات باستخدام تعليمات أو استراتيجيات أو أدلة، بدلًا من تحديث الأوزان. تحسّن الأساليب السابقة من سهولة الاستخدام، لكنها غالبًا تعاني من "الانحياز للإيجاز"، الذي يؤدي إلى تهميش الرؤى الخاصة بالمجال لصالح ملخصات موجزة، كما تعاني من "انهيار السياق"، حيث تُفقد التفاصيل تدريجيًا مع إعادة صياغة متعددة. مستندين إلى الذاكرة التكيفية المقدمة في "Dynamic Cheatsheet"، نقدّم إطار ACE (هندسة السياق الوكيلية)، الذي يُعامل السياقات كمُخططات تطورية تُجمّع وتحسّن وتنظّم الاستراتيجيات من خلال عملية منظّمة تتألف من التوليد، والتأمّل، والتدبير. يُمنع ACE الانهيار بفضل تحديثات منظّمة ومتسلسلة تُحافظ على المعرفة التفصيلية، وتمكّن من التوسع مع النماذج ذات السياق الطويل. في معايير الوكلاء والتطبيقات المتخصصة، يُحسّن ACE السياقات بشكل مُسبق (مثل أوامر النظام) وحول الوقت (مثل ذاكرة الوكيل)، ويتفوّق باستمرار على النماذج القوية السابقة: بزيادة 10.6% في تقييم الوكلاء، و8.6% في مجال المالية، مع تقليل كبير في زمن التكيّف وتكاليف النشر. وبشكل ملحوظ، أظهر ACE قدرة فعّالة على التكيّف دون الحاجة إلى تدريب مُعلَّم، بل من خلال الاستفادة من التغذية الراجعة الطبيعية الناتجة عن التنفيذ. وفي تصنيف AppWorld، تُطابق ACE الوكيل المُصنّف في الصدارة من حيث المتوسط العام، وتفوقه في فئة الاختبار الأصعب (test-challenge split)، رغم استخدام نموذج مفتوح المصدر أصغر حجمًا. تُظهر هذه النتائج أن السياقات الشاملة والمتغيرة تُمكّن من بناء أنظمة LLM قابلة للتوسع، وفعّالة، وقادرة على التحسين الذاتي، بتكاليف تشغيل منخفضة.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.