نسبة السوء

نسبة الهراء هي مقياس يستخدم لتقييم نسبة المعلومات غير المنطقية أو غير الصحيحة في الإجابات التي تقدمها نماذج اللغة الكبيرة (LLMs). تم اقتراح هذا المفهوم في عام 2024 من قبل تيموثي جورز، الحائز على ميدالية فيلدز ومدير الأبحاث في جامعة كامبريدج. وقد توصل إلى هذا المعيار، وهو نسبة إجمالي الإجابات التي قدمها اختبار LLM إلى الإجابات الصحيحة، أثناء محاولته استخدام GPT-4o لحل لغز عبور الحيوان للنهر. أشر إلى أخطاء GPT-4o في أبسط الأسئلة، ولن يكون Claude 3.5 محصنًا من ذلك. وتثير هذه الظاهرة تساؤلات حول ما إذا كانت نماذج اللغة الكبيرة قادرة حقا على التفكير والتخطيط. ومن خلال هذه النسبة، يمكننا تحديد درجة الناتج غير المنطقي للنموذج، وبالتالي تقييم أداء النموذج واتجاه التحسين.