Zhi Zhou Yuhao Tan Zenan Li Yuan Yao Lan-Zhe Guo Yu-Feng Li Xiaoxing Ma

الملخص

تسعى التوسيع في وقت الاختبار (Test-time scaling) إلى تحسين أداء النماذج اللغوية الكبيرة (LLMs) من خلال إضافة موارد حسابية. وتشكل الطرق القائمة على العينات من بين الاتجاهات الشائعة في هذا المجال، حيث تُحسّن الأداء التفكيري من خلال إنشاء مسارات تفكير متعددة لקלט معين أثناء الاستدلال. ومع أن هذه الطريقة حققت نجاحًا عمليًا ملحوظًا، إلا أن الأساس النظري لها ما زال يُعد مجالًا غير مُستكشَفٍ بشكل كافٍ. في هذا البحث، نقدّم أول إطار نظري لتحليل الطرق القائمة على العينات في التوسيع في وقت الاختبار، مُستندًا إلى منظور تقدير الثقة. وباستناد إلى هذا الإطار، نُحلِّل نموذجين رئيسيين: "الاتساق الذاتي" (self-consistency) و"الاندهاش" (perplexity)، ونُبيّن القيود الأساسية: فعندما يعاني الاتساق الذاتي من خطأ تقدير عالٍ، فإن الاندهاش يُعاني من خطأ نمذجة كبير، وربما من تدهور في تقارب خطأ التقدير. ولحل هذه القيود، نُقدّم RPC، وهي طريقة هجينة تعتمد على رؤى نظرية جديدة من خلال مكوّنين رئيسيين: "اتساق الاندهاش" (Perplexity Consistency) و"تقليل التفكير" (Reasoning Pruning). يُجمع "اتساق الاندهاش" بين ميزتي الاتساق الذاتي والاندهاش، ما يُسرّع معدل تقارب خطأ التقدير من خطي إلى أسي، مع الحفاظ على خطأ النموذج. أما "تقليل التفكير"، فيمنع التدهور من خلال حذف مسارات التفكير ذات الاحتمال المنخفض. وتوصل التحليلات النظرية والنتائج التجريبية المُتعددة على سبعة مجموعات بيانات معيارية إلى أن RPC تمتلك إمكانات قوية في تقليل خطأ التفكير. وتميّز RPC بتحقيق أداء تفكيري مماثل للاتساق الذاتي، مع تحسين موثوقية الثقة، وخفض تكاليف العينات بنسبة 50%. يمكن الاطلاع على الكود والموارد في: https://wnjxyk.github.io/RPC.