L2MAC: حاسوب آلي مُعدّ لتوسيع إنشاء الكود باستخدام نموذج لغوي كبير

النماذج اللغوية الكبيرة المستندة إلى المحولات (LLMs) محدودة بحجم النافذة الثابتة المُدمج في البنية الأساسية للمحول، مما يعيق قدرتها على إنتاج مخرجات طويلة ومتماسكة. وتمثل النماذج اللغوية الكبيرة المُوسَّعة بالذاكرة حلاً واعداً، لكن الطرق الحالية لا تستطيع التعامل مع مهام إنتاج المخرجات الطويلة، وذلك لأنها (1) تركز فقط على قراءة الذاكرة وتقلل من تطورها إلى مجرد اتحاد للذكريات الجديدة، أو (2) تستخدم ذاكرة متخصصة جداً لا يمكنها التكيف مع مجالات أخرى. تقدم هذه الورقة نموذجاً يُدعى L2MAC، وهو أول إطار عملي يعتمد على النماذج اللغوية الكبيرة لحاسوب تلقائي مُخزن بالبرنامج عام الاستخدام (ببنية فون نيومان)، وهو نظام متعدد الوكلاء يعتمد على النموذج اللغوي الكبير، مُصمم لإنتاج مخرجات طويلة ومتماسكة. تتكوّن ذاكرته من مكوّنين: أولهما "سجل التعليمات"، الذي يُملأ ببرنامج مُقترح لحل المهمة المحددة من قبل المستخدم، والثاني "مخزن الملفات"، الذي سيحتوي على المخرجات النهائية والمؤقتة. ويتم تنفيذ كل تعليمات على حدة بواسطة وكيل نموذج لغوي كبير منفصل، حيث يُدار سياق كل وكيل بواسطة وحدة تحكم قادرة على قراءة وكتابة الذاكرة بدقة، مما يضمن تفاعلاً فعّالاً مع مخزن الملفات. تتيح هذه المكونات لـ L2MAC إنتاج مخرجات واسعة النطاق، وتجاوز القيود الناتجة عن النافذة السياقية المحدودة، مع إنتاج مخرجات تحقق مهمة معقدة محددة من قبل المستخدم. ونُظهر تجريبياً أن L2MAC تحقق أداءً متقدماً على مستوى الحالة الحالية في إنتاج مجموعات برمجية كبيرة لمهام تصميم الأنظمة، حيث تتفوّق بشكل ملحوظ على الطرق الأخرى في تنفيذ المهمة المحددة بالتفصيل من قبل المستخدم؛ كما نُظهر أن L2MAC تعمل بشكل فعّال في مهام نصية واسعة النطاق عامة، مثل كتابة كتاب كامل؛ ونقدّم رؤى قيّمة حول تحسّن أداء L2MAC مقارنة بالطرق الحالية.