ماغل ماث: تقييم أثر تعزيز الاستعلام والرد على التفكير الرياضي

في التفكير الرياضي باستخدام النماذج اللغوية الكبيرة (LLMs)، تمت التحقق تجريبيًا من فعالية تعزيز بيانات التدريب من خلال تطوير الاستفسارات وتنويع مسارات الاستنتاج، مما أدى إلى تقليل كبير للفراغ بين النماذج المفتوحة المصدر ونماذج LLM المتطورة والخاصة. في هذه الورقة، نقوم بدراسة لهذا التعزيز البيانات في التفكير الرياضي، ونهدف إلى الإجابة عن الأسئلة التالية: (1) ما الاستراتيجيات الأكثر فعالية في تعزيز البيانات؟ (2) ما العلاقة التماثلية بين كمية البيانات المُعززة وأداء النموذج؟ (3) هل يمكن لتعزيز البيانات أن يشجع التعميم على مهام التفكير الرياضي خارج المجال؟ لذا، قمنا بإنشاء مجموعتي بيانات جديدتين، وهما AugGSM8K وAugMATH، من خلال تعقيد الاستفسارات وتنويعها، واستخلاص مسارات استنتاج متعددة من مجموعتي بيانات GSM8K وMATH. وتم الحصول على سلسلة من النماذج اللغوية الكبيرة تُسمى MuggleMath من خلال تدريب نماذج LLaMA على بيانات AugGSM8K وAugMATH. وقد حققت MuggleMath أداءً جديدًا مُتفوّقًا على مستوى الحالة الحالية (SOTA) في مجموعتي بيانات GSM8K وMATH. كما تم تقديم علاقة خطية لوغاريتمية وعلاقة خطية لوغاريتمية مُقسّمة (segmented log-linear) على التوالي بين أداء MuggleMath وكمية البيانات المُعززة في مجموعتي بيانات GSM8K وMATH. كما لاحظنا أن الأداء ضعيف في التعميم على المهام الرياضية خارج المجال، سواء من AugGSM8K إلى MATH أو من AugMATH إلى GSM8K، مما يشير إلى أن تعزيز الاستفسارات لتغطية طيف أوسع من المواضيع يُعد أكثر فائدة لتحسين التعميم. ونُشر الكود والبيانات المُعززة عبر الرابط: https://github.com/OFA-Sys/gsm8k-ScRel.