HyperAIHyperAI

Command Palette

Search for a command to run...

هل يمكن لـ ChatGPT أن تحل محل نماذج KBQA التقليدية؟ تحليل متعمق لأداء إجابة الأسئلة في عائلة نماذج LLM GPT

Yiming Tan Dehai Min Yu Li Wenbo Li Nan Hu Yongrui Chen Guilin Qi

الملخص

يُعدّ ChatGPT نموذجًا لغويًا كبيرًا قويًا (LLM) يغطي مصادر معرفية مثل ويكيبيديا، ويدعم الإجابة على الأسئلة بلغة طبيعية باستخدام معرفته الخاصة. ولهذا السبب، تزداد الاهتمامات بدراسة إمكانية استبدال ChatGPT للنماذج التقليدية القائمة على المعرفة في الإجابة على الأسئلة (KBQA). وعلى الرغم من وجود بعض الدراسات التي تحلل أداء ChatGPT في الإجابة على الأسئلة، إلا أن هناك نقصًا حتى الآن في إجراء اختبارات شاملة وواسعة النطاق على أنواع متعددة من الأسئلة المعقدة لتحليل القيود التي يواجهها النموذج. في هذا البحث، نقدّم إطارًا يتبع مواصفات الاختبار الأدّي (black-box testing) المُقترح من قبل Ribeiro وآخرين في دراسة CheckList. ونقيّم ChatGPT وعائلته من النماذج اللغوية الكبيرة (LLMs) على ثمانية مجموعات بيانات حقيقية قائمة على المعرفة لحل الأسئلة المعقدة، وتشمل ست مجموعات بيانات باللغة الإنجليزية ومجموعتان متعدّدتان اللغات. ويتراوح عدد حالات الاختبار الإجمالي نحو 190,000 حالة. وبالإضافة إلى عائلة نماذج GPT، نقوم أيضًا بتقييم النموذج المعروف FLAN-T5 لتحديد التشابهات بين عائلة GPT والنماذج اللغوية الكبيرة الأخرى. تتوفر مجموعة البيانات والكود على الرابط التالي: https://github.com/tan92hl/Complex-Question-Answering-Evaluation-of-GPT-family.git


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
هل يمكن لـ ChatGPT أن تحل محل نماذج KBQA التقليدية؟ تحليل متعمق لأداء إجابة الأسئلة في عائلة نماذج LLM GPT | مستندات | HyperAI