الملخص

بينما أفضت منهجية "الاستدلال العميق" إلى تقدم كبير في المجالات القابلة للتحقق مثل الرياضيات، فإن تطبيقها على المهام المفتوحة والخلاقة ما يزال يمثل تحديًا جوهريًا. وتشتكي الطريقتان السائدتان في غرس القدرة على الاستدلال – وهما التعلم بالتعزيز (RL) وتمثيل التعليم (instruction distillation) – في هذا المجال؛ إذ يعاني التعلم بالتعزيز من غياب إشارات المكافأة الواضحة، بالإضافة إلى صعوبة توفر نماذج مكافأة عالية الجودة، في حين يُعد تمثيل التعليم مكلفًا جدًا، ويُحَدُّ بأداء النموذج المُعلِّم. وللتغلب على هذه القيود، نُقدّم منهجية جديدة تُسمى "الاستدلال المُعاد هندسته عكسيًا" (REER)، التي تُعيد تشكيل النهج جذريًا. بدلًا من بناء عملية استدلال "بشكل متقدم" عبر التجربة والخطأ أو التقليد، يعمل منهج REER "بشكل عكسي" من الحلول المعروفة الجودة، للكشف الحسابي عن العملية الخفية الخطوة بخطوة للاستدلال العميق التي ربما تكون قد أدت إلى هذه النتائج. وباستخدام هذا النهج القابل للتوسع ودون الحاجة إلى التدرج (gradient-free)، نقوم بجمع وتحرير مجموعة بيانات كبيرة بعنوان DeepWriting-20K، تحتوي على 20,000 مسارًا للاستدلال العميق في المهام المفتوحة. ويُظهر نموذجنا DeepWriter-8B، الذي تم تدريبه على هذه البيانات، تفوقًا على النماذج المفتوحة المصدر القوية، بل ويحقق أداءً يتنافس مع النماذج المُلكية الرائدة مثل GPT-4o وClaude 3.5، وأحيانًا يتفوّق عليها.