Honglin Lin Qizhi Pei Xin Gao Zhuoshi Pan Yu Li Juntao Li Conghui He Lijun Wu

الملخص

تُعد القدرة على الاستدلال عنصرًا محوريًا لتمكين النماذج الكبيرة للغة (LLMs) من حل المهام المعقدة، ومع ذلك يظل تحقيق استدلال موثوق وقابل للتوسع أمرًا صعبًا. في حين أن منهجية التحفيز بسلسلة التفكير (Chain-of-Thought, CoT) أصبحت الشكل السائد في هذا المجال، فإن الطرق الحالية تعاني غالبًا من توليد غير مُسيطر عليه، ونوعية منخفضة، وتنوع محدود في مسارات الاستدلال. وقد سعى بعض الجهود الحديثة إلى تحسين CoT من خلال الاستعانة بالكود، وذلك بتوفير أساس قابل للتنفيذ لمسارات التفكير، لكن هذه الأساليب غالبًا ما تكون محدودة بالمسائل الرياضية المحددة مسبقًا، مما يحد من قابليتها للتوسع وقابليتها للتطبيق العام. في هذا العمل، نقترح إطارًا جديدًا يُسمى Caco (Code-Assisted Chain-of-ThOught)، والذي يُمكّن من توليد تلقائي لبيانات استدلال عالية الجودة وقابلة للتحقق ومتعددة التنوع، وذلك من خلال تعزيز البيانات باستخدام الكود. على عكس الدراسات السابقة، يقوم Caco أولًا بتعديل نموذج مولد لسلسلة التفكير القائمة على الكود على حلول رياضية وبرمجة موجودة مسبقًا، بتنسيق كود موحد، ثم يمكّن من توسيع عملية إنشاء البيانات إلى كميات كبيرة من آثار التفكير المتنوعة. وبشكل حاسم، نُدخل عملية التحقق التلقائي من خلال تنفيذ الكود وتصفية قواعدية لضمان الصواب المنطقي والتنوع الهيكلي، يلي ذلك إعادة هندسة المخرجات المُصفاة إلى تعليمات بلغة طبيعية وسلسلة تفكير بلغة طبيعية، بهدف تعزيز قابلية التكيّف مع المهام المختلفة. يُمكّن هذا النموذج المغلق من توليد تلقائي وقابل للتوسع لبيانات الاستدلال، مع ضمان قابليتها للتنفيذ. وقد أظهرت التجارب على مجموعة البيانات التي أنشأناها، Caco-1.3M، أن النماذج المدربة باستخدام Caco تحقق أداءً قويًا ومقابلًا على معايير الاستدلال الرياضي، وتتفوّق على النماذج القوية الحالية. كما كشف التحليل الإضافي أن التحقق المرتكز على الكود في Caco والتنوع في التعليمات يسهمان في تحسين القدرة على التعميم على المهام غير المرئية مسبقًا. يُثبّت هذا العمل نموذجًا جديدًا لبناء أنظمة استدلال ذاتية التغذية وموثوقة دون تدخل بشري.