Jiaxi Li Yucheng Shi Jin Lu Ninghao Liu

الملخص

أصبح البحث الشجري إطارًا ممثلًا لاستنتاجات وقت الاختبار مع النماذج اللغوية الكبيرة (LLMs)، حيث يُظهر هذا النهج مثالًا بارزًا مثل "شجرة التفكير" و"بحث شجرة مونت كارلو"، اللذان يُستخدمان لاستكشاف مسارات تفكير متعددة. ومع ذلك، يظل من الصعب توفير تقييمات كمية فورية وموثوقة لجودة الخطوات المتوسطة في التفكير، كما أن استكشاف المسارات الواسعة يتطلب تكاليف حسابية عالية. ولحل هذه المشكلة، نقترح إطارًا جديدًا يُسمى "البحث الشجري للمعلومات المتبادلة" (MITS)، الذي يوجه عملية التفكير باستخدام مبادئ نظرية المعلومات. يُقدّم MITS دالة تقييم فعّالة تعتمد على المعلومات المتبادلة النقطية (PMI)، مما يمكّن من تقييم الخطوات التفكيرية بشكل تدريجي، وتوسيع شجرة البحث باستخدام خوارزمية التجميع (beam search) دون الحاجة إلى محاكاة مسبقة مكلفة، ويحقق أداءً تفكيريًا متفوقًا مع الحفاظ على الكفاءة الحسابية. ويُكمل هذا الإطار استراتيجية عينة ديناميكية تعتمد على الانتروبيا، والتي تُوزع بشكل تلقائي الموارد الحسابية على الخطوات التفكيرية غير المؤكدة، حيث تكون الاستكشافات أكثر فائدة. أما في التنبؤ النهائي، فيعتمد MITS على نموذج تصويت موزون يدمج بين درجات PMI والاتساق في التنبؤات. من خلال تجارب شاملة على مجموعات اختبار متعددة للتفكير، يتفوق MITS باستمرار على الطرق الأساسية، مما يُثبت إمكانية هذا الإطار كإطار منهجي وفعال لاستنتاجات النماذج اللغوية الكبيرة.