تذكيرات السلامة تحسّن قرارات الذكاء الاصطناعي السريري

كشفت دراسة جديدة نُشرت في ٢٦ سبتمبر بمجلة Communications Medicine، عن دور فعال للمطالبات الأمنية في تقليل الخيارات الطبية الضارة التي يتخذها الذكاء الاصطناعي في السياقات السريرية. وقاد البحث باحثون من مدرسة إكان للطب في جبل سيناء، حيث أثبتوا أن إضافة تذكير أمني موجز إلى أوامر النماذج يقلل بشكل ملحوظ من الممارسات غير الآمنة، حتى في ظل الضغوط التشغيلية أو التعليمات المتعارضة. اعتمدت المنهجية على تحليل أكثر من عشرة ملايين استجابة من عشرين نموذجاً كبيراً للغة، شمل اختبارها مئات السيناريوهات الطبية المُعدّلة وسجلات خروج مرضى مجهولة الهوية. وكشفت النتائج أن نسبة الخيارات الطبية المحتملة الضرر بلغت ١٦٫٦٪ عند غياب التوجيهات الأمنية، في حين انخفضت إلى ١٠٫١٪ عند تفعيل التذكير الموجز. وسجل تسعة عشر نموذجاً من العشرين المختبرة تحسناً مماثلاً، مما يؤكد قدرة المدخلات النصية البسيطة على تعديل مخرجات الذكاء الاصطناعي في قرارات حساسة. اختبر الفريق النماذج تحت سيناريوهات ضغط تشمل تجاهل فحوصات الدم الروتينية لتقليل العبء الوظيفي، أو تقديم الطلبات بصيغة عاجلة أو بأمر من مشرف. وتمت مقارنة استجابة النماذج بين خيارات تنفيذ الطلب، والإصرار على البروتوكول الطبي، أو طلب تدخل الطبيب البشري. وأظهرت النتائج أن النماذج قابلة للتأثر بصياغة السياق وإطار الطلب، وهو ما يسلط الضوء على أهمية اختبار الذكاء الاصطناعي في بيئات تحاكي الضغوط السريرية الحقيقية وليس فقط تحت الظروف المثالية. وأشار الدكتور محمود عمر، المؤلف الأول والباحث في قسم الذكاء الاصطناعي والصحة البشرية بالمؤسسة، إلى أن النوافذ الأمنية تمثل أداة حماية مكملة وليست بديلاً عن الرقابة السريرية البشرية، خاصة أن التذكير لم يلغِ جميع الخيارات الضارة تماماً. وأضاف الدكتور جيريش نادكبرني، المؤلف المشارك الأول وعميد القسم، أن تطور أنظمة الذكاء الاصطناعي نحو وكلاء مستقلين يتطلب دمج اختبارات الأمان التلقائية في مراحل التطوير، ومراقبة كيفية تعامل النماذج مع حقن التعليمات المخفية أو ضغوط الميزانية والوقت. تؤكد الدراسة على ضرورة إعادة نظر الشركات المطورة والمؤسسات الصحية في معايير تقييم الذكاء الاصطناعي، مؤكدةً أن سلامة التطبيقات الطبية تعتمد بشكل جوهري على هندسة السياق ومراقبة البشري، لا على دقة النموذج فحسب. وستستمر الأبحاث في فحص تأثير تراكم السياق وطول المحادثات على قرارات الوكلاء الذاتيين، بما يضمن تبني أنظمة أكثر أماناً وقابلية للمسؤولية في البيئات السريرية المتطورة.