Matthew Ho Chen Si Zhaoxiang Feng Fangxu Yu Zhijian Liu et al

الملخص

بينما يمكّن التوسع أثناء عملية الاستنتاج من تمكين النماذج اللغوية الكبيرة من إجراء سلاسل استنتاج متزايدة الطول وذات قدرات متزايدة، فإن الأنماط والرؤى التي تُكتشف خلال هذه السلاسل تُهمل فورًا بمجرد إعادة تعيين نافذة السياق لاستعلام جديد. ويشكل الذاكرة الخارجية طريقة طبيعية لحفظ هذه الاكتشافات، وقد أظهرت الدراسات الحديثة فوائد واضحة في المهام التي تتطلب استنتاجًا مكثفًا. نرى فرصة لجعل هذه الذاكرة أكثر قابلية لإعادة الاستخدام والتوسع من خلال الانتقال من إدخالات الذاكرة القائمة على الحالات الفردية (مثل أزواج الاستعلام/الإجابة الدقيقة، أو الملخصات المرتبطة بشكل وثيق بسياق المشكلة الأصلي) إلى الذاكرة على مستوى المفاهيم: أي تعميمات قابلة لإعادة الاستخدام وقابلة للتركيب، تم استخلاصها من سلاسل الحلول وتخزينها بلغة طبيعية. عند معالجة استعلامات مستقبلية، يتم استرجاع المفاهيم ذات الصلة بشكل انتقائي ودمجها في المدخل، مما يتيح تعلمًا مستمرًا أثناء الاختبار دون تحديث الأوزان. يقدّم تصميمنا استراتيجيات جديدة لاستخلاص النتائج المستفادة من عمليات التمثيل (rollouts) واسترجاع الإدخالات للاستعلامات الجديدة، مما يعزز إعادة الاستخدام ويسمح بتوسيع الذاكرة مع اكتساب تجارب إضافية. وعلى معيار ARC-AGI الصعب، حققنا مكسبًا نسبيًا بنسبة 7.5% مقارنةً بقاعدة أداء قوية لا تستخدم ذاكرة، مع استمرار الأداء في التوسع مع زيادة حسابات الاستنتاج. ووجدنا أن المفاهيم المجردة تمثل أفضل تصميم للذاكرة من حيث الاتساق، حيث تفوق القاعدة في جميع مقاييس قدرة الحوسبة المستخدمة في الاستنتاج التي تم اختبارها. علاوةً على ذلك، تأكدنا من أن تحديث الذاكرة ديناميكيًا أثناء الاختبار يؤدي إلى أداء أفضل مقارنةً بحالة الذاكرة الثابتة المماثلة، حتى مع عدد أكبر من المحاولات، مما يدعم الفرضية القائلة بأن حل عدد أكبر من المشكلات واستخلاص أنماط أكثر ووضعها في الذاكرة يُمكّن من الوصول إلى حلول إضافية، في شكل تحسين ذاتي. يُتاح الكود عبر الرابط التالي: [هذا الرابط]