مسح حول هندسة السياق للنماذج اللغوية الكبيرة

أداء نماذج اللغات الكبيرة (LLMs) يتحدد بشكل أساسي بالمعلومات السياقية المقدمة أثناء الاستدلال. يقدم هذا الاستعراض مهندسة السياق، وهي تخصص رسمي يتجاوز تصميم الدعوات البسيطة لتشمل تحسين المعلومات المحمولة لنماذج اللغات الكبيرة بشكل منهجي. نقدم تصنيفًا شاملًا يفكك مهندسة السياق إلى مكوناتها الأساسية والتنفيذ المعقد الذي يدمجها في الأنظمة الذكية. أولاً، نفحص المكونات الأساسية: استرجاع السياق وإنشاؤه، معالجة السياق وإدارته. ثم نستكشف كيف يتم دمج هذه المكونات في الهيكلية لإنشاء تنفيذ أنظمة معقدة: إنشاء مدعم بالاسترجاع (RAG)، أنظمة الذاكرة والاستدلال المدمج بالأدوات، وأنظمة الوكلاء المتعددة. من خلال هذا التحليل المنظم لأكثر من 1300 ورقة بحثية، لا يقتصر استعراضنا على وضع خريطة طريق تقنية للحقل فحسب، بل يكشف أيضًا عن فجوة بحثية حاسمة: يوجد اختلاف جوهري بين قدرات النموذج. بينما تظهر النماذج الحالية، والمدعومة بالهندسة السياقية المتقدمة، كفاءة ملحوظة في فهم السياقات المعقدة، فإنها تعاني من قيود واضحة في إنتاج مخرجات طويلة ومعقدة بنفس المستوى. معالجة هذه الفجوة هي أولوية أساسية للبحث المستقبلي. في النهاية، يقدم هذا الاستعراض إطارًا موحدًا لكل من الباحثين والمهندسين الذين يعملون على تطوير الذكاء الاصطناعي القائم على السياق.