الاختيار التلقائي للنموذج باستخدام نماذج اللغة الكبيرة للاستدلال

تمثّل طريقة التفكير المتسلسل (Chain-of-Thought - CoT) ونماذج اللغات المدعومة بالبرمجة (Program-Aided Language Models - PAL) طريقتين مختلفتين للتفكير، لكل منهما مزاياها الخاصة. تستخدم CoT اللغة الطبيعية، مما يوفر مرونة وقابلية للتفنّن في التفسير، بينما تعتمد PAL لغة البرمجة، مما يُنتج منطقًا أكثر تنظيمًا ودقة. نقدّم طريقة اختيار النموذج لدمج أفضل ما في كلا الطريقتين من خلال استخدام نموذج لغة كبير (LLM) لاختيار ديناميكي بينهما. وتشير التحليلات النظرية إلى إمكانية تطبيق هذه الطريقة، وهي مدعومة بشكل إضافي بالنتائج التجريبية. تُظهر الطريقة المقترحة تحسينات كبيرة في الأداء على ثمانية مجموعات بيانات للتفكير باستخدام Codex وChatGPT وGPT-4. علاوةً على ذلك، تُعد الطريقة مكملة لتقنية الاتساق الذاتي (self-consistency)، حيث يمكنها تعزيز الأداء بشكل أكبر مع تقليل كبير في تكاليف الحوسبة عند دمجها. وبالإضافة إلى ذلك، نحقق نتائجًا جديدة على مستوى الحالة الراهنة (state-of-the-art) على مجموعتي بيانات GSM8K وSVAMP، بتحقيق دقة قدرها 96.8% و93.7% على التوالي. يتوفر الكود والبيانات والنصوص التوجيهية على الرابط التالي: https://github.com/XuZhao0/Model-Selection-Reasoning