فصل المعرفة والاستدلال في نماذج اللغة الكبيرة: استكشاف باستخدام نظرية النظامين العقليين

بينما تعتمد نماذج اللغة الكبيرة (LLMs) على كل من المعرفة والاستدلال أثناء الاستنتاج، فإن القدرة على التمييز بينهما تلعب دورًا محوريًا في تحليل النموذج وفهمه وتطويره. مستوحاة من نظرية التفكير السريع والبطيء، نقترح إطارًا لتحديد مسؤولية الإدراك لفصل مساهمة المعرفة والاستدلال. على وجه الخصوص، يتم تقسيم إدراك نماذج LLM إلى مرحلتين مختلفتين ولكن مكملتين: استرجاع المعرفة (المرحلة 1) واستدراك الاستدلال (المرحلة 2). لفصل هاتين المرحلتين، يتم توجيه نماذج LLM لإنتاج الإجابات في نمطين مختلفين من الإدراك: التفكير السريع والتفكير البطيء. يتم تحليل الأداء في النمطين لتحديد مساهمة المعرفة والاستدلال بشكل كمي. تُستخدم هذه البنية في 15 نموذج LLM على ثلاث مجموعات بيانات. تظهر النتائج ما يلي: (1) يستند استدراك الاستدلال إلى المجال، ويفيد المجالات التي تتطلب استدلالًا كبيرًا (مثل الرياضيات والفيزياء والكيمياء)، وقد يعاني المجالات التي تعتمد على المعرفة بشكل كبير. (2) تحسّن مقياس المعايير (parameter scaling) لكل من المعرفة والاستدلال، مع ملاحظة تحسينات أكثر وضوحًا في المعرفة. علاوة على ذلك، يجعل مقياس المعايير نماذج LLM أكثر احتياطًا في الاستدلال، بينما يزيد من ذكائها بشكل معتدل. (3) تكمن المعرفة في الطبقات السفلية من الشبكة، بينما يعمل الاستدلال في الطبقات العليا. يساعد إطارنا ليس فقط على فهم نماذج LLM من منظور "فصل المكونات"، بل يوفر أيضًا رؤى جديدة للبحوث الحالية، بما في ذلك قوانين التوسع (scaling laws)، وتحرير المعرفة الهرمي (hierarchical knowledge editing)، وحدود استدلال النماذج الصغيرة.