HyperAIHyperAI

Command Palette

Search for a command to run...

EconLogicQA: معيار أسئلة وأجوبة لتقييم النماذج اللغوية الكبيرة في الاستدلال الاقتصادي التتابعي

Yinzhu Quan Zefang Liu

الملخص

في هذا البحث، نقدم EconLogicQA، وهو معيار دقيق مصمم لتقييم قدرات النماذج اللغوية الكبيرة (LLMs) على الاستدلال التتابعي في المجالات المعقدة للاقتصاد والأعمال وإدارة سلسلة التوريد. بخلاف المعايير التقليدية التي تتوقع الأحداث اللاحقة بشكل منفصل، يطرح EconLogicQA مهمة أكثر تحديًا: يتطلب من النماذج أن تميز وتتوالي الأحداث المتعددة والمتصلة، مما يعكس تعقيد المنطق الاقتصادي. يتكون EconLogicQA من مجموعة من السيناريوهات متعددة الأحداث المستخرجة من مقالات اقتصادية، والتي تتطلب فهمًا عميقًا للعلاقات الزمنية والمنطقية بين الأحداث. من خلال تقييمات شاملة، نظهر أن EconLogicQA يقيس بفعالية كفاءة النموذج اللغوي الكبير (LLM) في التعامل مع التعقيدات التتابعية المتأصلة في السياقات الاقتصادية. نقدم وصفًا مفصلاً لمجموعة بيانات EconLogicQA ونعرض نتائج تقييم المعيار عبر مجموعة متنوعة من أحدث النماذج اللغوية الكبيرة (LLMs)، مما يقدم رؤية شاملة لقدراتها في الاستدلال التتابعي ضمن السياقات الاقتصادية. يمكن الوصول إلى مجموعة بيانات معيارنا من الرابط التالي: https://huggingface.co/datasets/yinzhu-quan/econ_logic_qa.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp