ToRA: وكيل استدلال متكامل بالأدوات لحل المسائل الرياضية

أحرزت النماذج اللغوية الكبيرة تقدماً كبيراً في مجموعة متنوعة من المهام اللغوية، إلا أنها ما زالت تواجه صعوبات في حل المسائل الرياضية المعقدة. في هذا البحث، نقترح ToRA، وهي سلسلة من الوكلاء المُفكّرين المدمجين بالأدوات، المصممة لحل المشكلات الرياضية الصعبة من خلال دمج سلس بين التفكير باللغة الطبيعية واستخدام الأدوات الخارجية (مثل مكتبات الحساب ومحلّات الرموز)، مما يُجمع بين القوة التحليلية للغة والكفاءة الحسابية للأدوات. لتدريب نموذج ToRA، نقوم بجمع مسارات استخدام تفاعلية للأدوات على مجموعات بيانات رياضية، ونطبّق تعلّم التقلّد على التسميات، ونُقدّم تقنية تشكيل فضاء الإخراج لتحسين مزيد من سلوك التفكير في النماذج. كنتيجة، تتفوّق نماذج ToRA بشكل كبير على النماذج المفتوحة المصدر في 10 مجموعات بيانات للتفكير الرياضي، على جميع المقاييس، مع تحقيق تحسّن مطلق متوسطه 13% إلى 19%. وبشكل لافت، حقق نموذج ToRA-7B نسبة دقة بلغت 44.6% على مجموعة بيانات MATH ذات المستوى التنافسي، متفوّقاً على أفضل نموذج مفتوح المصدر حتى الآن، وهو WizardMath-70B، بنسبة 22% مطلقة. كما أن ToRA-Code-34B هو أول نموذج مفتوح المصدر يحقق دقة تتجاوز 50% على MATH، متفوّقاً بشكل كبير على نتيجة GPT-4 باستخدام التفكير التسلسلي (CoT)، ويُعدّ منافساً قوياً لـ GPT-4 عند حل المشكلات باستخدام البرمجة. بالإضافة إلى ذلك، نُجري تحليلًا شاملاً للإيجابيات والتحديات المتبقية في التفاعل مع الأدوات للتفكير الرياضي، مما يقدّم رؤى قيمة لبحوث المستقبل.