الوصول إلى أكثر من 97٪ على GSM8K: فهم عميق للمشكلات يجعل نماذج LLM أفضل حلّالين للمشكلات الكلامية في الرياضيات

تحسّن أداء النماذج اللغوية الكبيرة (LLMs) في مهام الاستدلال المختلفة بفضل التحفيز المتسلسل التفكير (Chain-of-Thought, CoT). ومع ذلك، لا يزال CoT يعاني من قصور في التعامل مع المسائل الرياضية المعقدة، حيث يعاني عادة من ثلاث عيوب رئيسية: أخطاء في الفهم الدلالي، وأخطاء في الحساب، وأخطاء في تخطي خطوات معينة. اهتمت الدراسات السابقة بمعالجة أخطاء الحساب وأخطاء التخطي، لكنها تجاهلت أخطاء الفهم الدلالي، التي تمثل العامل الرئيسي الذي يحد من أداء الاستدلال في النماذج اللغوية الكبيرة. ولذلك، نقترح طريقة بسيطة ولكن فعّالة تُسمّى "فهم عميق للمشكلة" (Deeply Understanding the Problems, DUP)، لتحسين قدرة النماذج اللغوية الكبيرة على حل المسائل الرياضية من خلال معالجة أخطاء الفهم الدلالي. وتتمحور الفكرة الأساسية في طريقة DUP على تشجيع النماذج اللغوية الكبيرة على فهم أعمق للمشكلة واستخلاص المعلومات الأساسية اللازمة لحلها، مما يعزز من جودة الاستدلال. أظهرت التجارب الواسعة على 10 معايير متنوعة للاستدلال أن طريقة DUP تتفوّق بشكل ملحوظ على الطرق الأخرى بفارق كبير. وبشكل محفّز أكثر، حققت طريقة DUP نتيجة جديدة قياسية (SOTA) على معيار GSM8K، بتحقيق دقة تبلغ 97.1% في البيئة الصفرية (zero-shot).