أظهرت دراسة حديثة نُشرت كورقة مُستقلة (preprint) من فريق يضم باحثين من OpenAI ومؤسسة جورجيا للتكنولوجيا أن نماذج اللغة الكبيرة (LLMs) مثل تلك التي تُستخدم في ChatGPT لا يمكنها تجنب "الهلوسة" — أي إصدار إجابات مُقنعة لكنها خاطئة — حتى مع وجود بيانات تدريب مثالية. السبب الجذري، حسب الباحثين، ليس في جودة البيانات، بل في طريقة تدريب النماذج نفسها. ففي مرحلة ما بعد التدريب، تُقيّم النماذج بناءً على معايير معيارية (benchmarks) تُكافئ الإجابات المُقتنعة وتُعاقب على عدم الإجابة، مما يشجع النموذج على "التحايل" بدلًا من الاعتراف بالجهل. النماذج تُدرَّب لتصبح "مُحسّنة" لتقديم إجابات سريعة وواثقة، حتى لو كانت خاطئة. وبحسب الباحثين، فإن أي نموذج يُقيَّم بـ"1" للإجابة الصحيحة و"0" للإجابة الخاطئة أو الفارغة، سيُفضَّل دائمًا النموذج الذي يخمن بثقة على النموذج الذي يقول "لا أعرف". هذا التحفيز غير المتناسب يُكوّن سلوكًا مُتكررًا: الادعاء بالثقة بدلًا من الصدق. الدراسة تُظهر أن هناك علاقة رياضية لا تُنكر: خطأ النموذج في إنتاج النص يجب أن يكون على الأقل ضعف خطأه في التمييز بين الجمل الصحيحة والخاطئة. وبما أن بعض الأسئلة لا يمكن الإجابة عنها بشكل عام — مثل معرفة تاريخ ميلاد شخص في فصل دراسي لا يُعرف عنه سوى 49 شخصًا — فإن الدقة المطلقة (100%) مستحيلة. لكن هذا لا يعني أن النموذج يجب أن يُصَدّر إجابات كاذبة. الحل المقترح هو إعادة تصميم معايير التقييم لتعاقب النماذج على الأخطاء في الإجابة، وتحفّزها على الاعتراف بالجهل. بحسب الباحث أدم كالي، هذا تغيير بسيط تقنيًا لكنه جوهري في التفكير. "إذا علّمنا النموذج أن يُعاقب على التخمين، سيتعلم الحذر"، كما يقول. بعض الخبراء، مثل كارلوس جيمينيز من جامعة برينستون، يوافقون على الفكرة، لكنهم يحذرون من تعقيدات التقييم عبر مجالات متنوعة، حيث يختلف تقييم "الثقة" من مجال لآخر. آخرون، مثل هاو بِنغ من جامعة إلينوي، يشككون في فعالية أي حل يعتمد على بيانات أو مقاييس جديدة، مذكرين بأن هذه النماذج ماهرة جدًا في "الاستغلال" لأي نظام تقييم. وربما يكون أكبر عائق هو الجوانب التجارية: إذا بدأ ChatGPT في قول "لا أعرف" كثيرًا، فقد يفقد مستخدميه إلى منافسين يظهرون أكثر ثقة، حتى لو كانوا أقل دقة. في ظل ارتفاع تكاليف الحوسبة وانخفاض العائدات، لا تزال الشركات مُحَرَّجة بين التزام الصدق واحتياجات النمو. كما تشير دراسة دلفت للتكنولوجيا، فقط 5% من مستخدمي OpenAI يدفعون 20 دولارًا شهريًا. لذا، من غير المرجح أن تُقدِّم أي شركة أولًا نموذجًا يُفضّل الصدق على الجاذبية. "إذا استمر النموذج في الادعاء بالبراءة، فلن يخطئ، لكنه سيكون بلا فائدة"، كما يقول عالم الحاسوب سوباراو كامبانتي.