ما وراء حدود السياق: خيوط غير واعية للاستدلال على المدى الطويل

لتفكيك قيود السياق الخاصة بنماذج اللغة الكبيرة (LLMs) التي تعيق دقة وفعالية الاستدلال، نقترح نموذج الاستدلال المتوازي (TIM)، وهو مجموعة من نماذج اللغة الكبيرة التي تم تدريبها لحل المشكلات بشكل تكراري وتحليلي. كما نقترح TIMRUN، وهو بيئة تنفيذ (inference runtime) تتيح الاستدلال المُركب ذو المدى الطويل خارج حدود السياق. بفضل TIM المُستضافة على TIMRUN، يتمكن النموذج من دعم ذاكرة عمل تقريبًا لا نهائية، ودعم مكالمات الأدوات متعددة الخطوات داخل عملية استدلال واحدة، مما يتجاوز قيود الإخراج وقيود التضمين المكاني (positional-embedding) وقيود ذاكرة GPU.إن الأداء يتم تحقيقه من خلال تمثيل اللغة الطبيعية كأشجار استدلال، يتم قياسها من حيث الطول والعمق، بدلًا من التسلسلات الخطية. تتكون أشجار الاستدلال من مهام تتضمن الأفكار والمهام الفرعية التكرارية، والنتائج المستندة إلى المفهوم الذي قدمته الدراسة في Schroeder et al. (2025). أثناء التوليد، نحافظ على ذاكرة عمل تُخزن فقط حالات المفاتيح والمحتويات (key-value states) لأهم عناصر السياق، والتي تُختار من خلال آلية تقييم المهام الفرعية (rule-based subtask-pruning mechanism)، مما يسمح بإعادة استخدام التضمينات المكانية وصفحات ذاكرة GPU طوال عملية الاستدلال.تُظهر النتائج التجريبية أن نظامنا يحافظ على معدل تدفق عالي خلال الاستدلال، حتى عند التعامل مع 90% من ذاكرة التخزين المؤقت (KV cache) في ذاكرة GPU. كما يُقدم أداءً دقيقًا في المهام الرياضية، ويتعامل مع تحديات استرداد المعلومات التي تتطلب استدلالًا ذا مدى طويل ومكالمات أدوات متعددة الخطوات.