HyperAIHyperAI

Command Palette

Search for a command to run...

فصل المعرفة والاستدلال في نماذج اللغة الكبيرة: استكشاف باستخدام نظرية النظامين العقليين

Mutian Yang Jiandong Gao Ji Wu

الملخص

بينما تعتمد نماذج اللغة الكبيرة (LLMs) على كل من المعرفة والاستدلال أثناء الاستنتاج، فإن القدرة على التمييز بينهما تلعب دورًا محوريًا في تحليل النموذج وفهمه وتطويره. مستوحاة من نظرية التفكير السريع والبطيء، نقترح إطارًا لتحديد مسؤولية الإدراك لفصل مساهمة المعرفة والاستدلال. على وجه الخصوص، يتم تقسيم إدراك نماذج LLM إلى مرحلتين مختلفتين ولكن مكملتين: استرجاع المعرفة (المرحلة 1) واستدراك الاستدلال (المرحلة 2). لفصل هاتين المرحلتين، يتم توجيه نماذج LLM لإنتاج الإجابات في نمطين مختلفين من الإدراك: التفكير السريع والتفكير البطيء. يتم تحليل الأداء في النمطين لتحديد مساهمة المعرفة والاستدلال بشكل كمي. تُستخدم هذه البنية في 15 نموذج LLM على ثلاث مجموعات بيانات. تظهر النتائج ما يلي: (1) يستند استدراك الاستدلال إلى المجال، ويفيد المجالات التي تتطلب استدلالًا كبيرًا (مثل الرياضيات والفيزياء والكيمياء)، وقد يعاني المجالات التي تعتمد على المعرفة بشكل كبير. (2) تحسّن مقياس المعايير (parameter scaling) لكل من المعرفة والاستدلال، مع ملاحظة تحسينات أكثر وضوحًا في المعرفة. علاوة على ذلك، يجعل مقياس المعايير نماذج LLM أكثر احتياطًا في الاستدلال، بينما يزيد من ذكائها بشكل معتدل. (3) تكمن المعرفة في الطبقات السفلية من الشبكة، بينما يعمل الاستدلال في الطبقات العليا. يساعد إطارنا ليس فقط على فهم نماذج LLM من منظور "فصل المكونات"، بل يوفر أيضًا رؤى جديدة للبحوث الحالية، بما في ذلك قوانين التوسع (scaling laws)، وتحرير المعرفة الهرمي (hierarchical knowledge editing)، وحدود استدلال النماذج الصغيرة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
فصل المعرفة والاستدلال في نماذج اللغة الكبيرة: استكشاف باستخدام نظرية النظامين العقليين | مستندات | HyperAI