HyperAIHyperAI

Command Palette

Search for a command to run...

مقارنة Llama2 و Mistral و Gemma و GPT في الدقة والسمومية والتحيز والميل إلى الهلوسة

David Nadeau Mike Kroutikov Karen McNeil Simon Baribeau

الملخص

يقدم هذا البحث أربعة عشر مجموعة بيانات جديدة لتقدير سلامة نماذج اللغات الكبيرة في سياق المهام المؤسسية. تم وضع طريقة لتقييم سلامة النموذج، والتي تحدد بقدرته على اتباع التعليمات وإنتاج محتوى واقعي وموضوعي ومعتمد ومناسب. في هذه الدراسة، استخدمنا نموذج OpenAI GPT كنقطة مقارنة لأنه يتفوق على جميع مستويات السلامة. من الجانب المفتوح المصدر، بالنسبة للنماذج الأصغر، يؤدي Meta Llama2 بشكل جيد فيما يتعلق بالواقعية والسمومية ولكنه لديه أعلى ميل للوهم (hallucination). أما Mistral فتقوم بأقل نسبة من الوهم ولكنها لا تستطيع التعامل مع السمومية بشكل جيد. تؤدي بشكل جيد في مجموعة البيانات التي تجمع بين عدة مهام وعوامل سلامة في مجال ضيق. أما Gemma، وهي النموذج الجديد المفتوح المصدر المستند إلى Google Gemini، فهي متوازنة بشكل عام ولكنها تتأخر قليلاً. عند المشاركة في المحادثات ذهابًا وإيابًا (المحفزات المتعددة الأدوار)، نجد أن سلامة النماذج المفتوحة المصدر تنخفض بشكل كبير. عدا نموذج GPT الخاص بـ OpenAI، فإن Mistral هي النموذج الوحيد الذي ما زال يؤدي بشكل جيد في الاختبارات المتعددة الأدوار.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مقارنة Llama2 و Mistral و Gemma و GPT في الدقة والسمومية والتحيز والميل إلى الهلوسة | مستندات | HyperAI