ChatGPT Fails to Detect Retracted or Flawed Research in Literature Reviews, Study Reveals

دراسة جديدة كشفت أن نموذج الذكاء الاصطناعي التوليدي ChatGPT يتجاهل بشكل متكرر التقارير المُعدّلة أو المُلغاة، بما في ذلك الدراسات الأكاديمية التي تم سحبها بسبب أخطاء جوهرية أو مخالفات أخلاقية، عند استخدامه في تقييم جودة الأدبيات العلمية. قام الباحثون، بقيادة البروفيسور مايك ثيلوال ود. إيريني كاتسيريا، بتحليل 217 دراسة مُستهدفة من بينها دراسات عالية التأثير تم سحبها أو تم الإبلاغ عن مخاوف جدية بشأنها، وكانت جميعها مُدرجة ضمن الدراسات ذات التأثير الواسع في وسائل الإعلام والمجتمع الأكاديمي. تم طلب تقييم جودة كل دراسة من قبل ChatGPT 30 مرة، ما أدى إلى إنتاج 6510 تقريرًا. لم يذكر أي من هذه التقارير بشكل صريح أن الدراسة قد تم سحبها أو أن لديها أخطاء جوهرية، بل قدم 190 دراسة تقييمات عالية، وصفت بأنها "رائدة عالميًا" أو "متميزة دوليًا"، رغم أن هذه الدراسات كانت معروفة بوجود مشاكل في منهجيتها أو نتائجها. وعندما أُعطيت تقييمات منخفضة، كانت الأسباب المذكورة متعلقة بضعف الجودة الأكاديمية فقط، وليس بوجود سحب أو مخالفات، مع إشارات نادرة فقط إلى أن بعض المواضيع كانت "مثيرة للجدل". في تجربة إضافية، تم استخلاص 61 ادعاءً من الدراسات المُلغاة، وطلب من ChatGPT تقييم صحتها 10 مرات لكل ادعاء. أجاب بنعم أو بتأييد قوي في ثلثي الحالات، بما في ذلك ادعاءات تم إثبات كذبها قبل أكثر من عقد من الزمن. هذا يشير إلى أن النموذج لا يملك آلية فعالة للاستناد إلى التحديثات أو التصحيحات في السياق العلمي. النتائج تُظهر خطورة الاعتماد على نماذج الذكاء الاصطناعي التوليدي في مهام بحثية حساسة مثل مراجعة الأدبيات أو اتخاذ قرارات علمية، حتى عندما تبدو إجابات النموذج واثقة ومقنعة. وحذّر البروفيسور ثيلوال من أن هذه النتائج "مقلقة" وتشير إلى ضرورة التحقق المنهجي من المعلومات المستمدة من هذه الأنظمة. ودعا مطوري الذكاء الاصطناعي إلى تحسين قدرة النماذج على التعرف على التصحيحات العلمية، وحث المستخدمين على عدم الثقة التلقائية في النتائج، حتى في الحالات التي تبدو مبنية على معرفة متعمقة. الدراسة نُشرت في مجلة Learned Publishing ضمن مشروع بحثي أطلق عليه "العلوم غير الموثوقة: فك شفرة تأثير التضليل الإعلامي الشائع"، والذي بدأ في أكتوبر 2024. وتُعد هذه النتائج جزءًا من تقييم متزايد للثغرات في نماذج الذكاء الاصطناعي عند التعامل مع المعلومات العلمية الحساسة، وتشير إلى الحاجة الملحة إلى معايير أمان وشفافية في استخدام هذه الأدوات في السياقات الأكاديمية والبحثية.