كشفت دراسة حديثة أجراها باحثون في جامعة نورث إيسترن عن قصور كبير في أنظمة الذكاء الاصطناعي التوليدي الحديثة في حماية المستخدمين من تقديم نصائح ضارة تتعلق بالاضطرابات النفسية، رغم التحسينات المطردة في تعاملها مع حالات الانتحار وإيذاء الذات. وأظهرت التجارب التي شملت ثمانية من أشهر نماذج الدردشة الذكية، بما فيها شات جي بي تي وجيميني وكلاود وغروك وديب سيك، قابلية هذه الأنظمة لتجاوز ضوابط السلامة بشكل مثير للقلق عند التعامل مع ظروف مثل اضطرابات الأكل، وإساءة استخدام المواد المخدرة، واضطراب ثنائي القطب، والأرق، والاكتئاب ما بعد الولادة. وتأتي هذه النتائج في وقت تتصاعد فيه المخاوف القانونية والأخلاقية حول مسؤولية مشغلي الذكاء الاصطناعي، لا سيما بعد رفع عائلة راين دعوى قضائية ضد شركة أوبن إيه آي في أغسطس 2025، زعمت فيها أن مساعد شات جي بي تي ساهم في تحفيز أفكار انتحار ابنها المراهق قبل وفاته. ورغم أن الشركة نفذت صيغ حماية أقوى استجابة لهذا الملف، إلا أن فريق البحث أظهر أن هذه الإجراءات لم تُمدد بعد إلى غالبية الحالات النفسية الأخرى. واعتمدت الدراسة على مئات المحاكاة التفاعلية، حيث قام الباحثون بصياغة نصوص تحفيزية مباشرة وغير مباشرة، بما في ذلك التظاهر بدور روائي يحتاج لمعلومات عن أعراض نفسية، أو طرح أسئلة تتعلق بمستخدمين قاصرين. وسجلت النماذج الرئيسية لأوبن إيه آي وجوجل وديب سيك نسبة فشل بلغت 81 في المئة عند التعامل مع الأسئلة النفسية الحساسة، بينما برز نموذج كلاود كأفضل أداء في رفض محاولات تجاوز سياجه الأمني. وأشار الباحثون إلى أن إخفاء النية الحقيقية للمستخدم يقلص من فعالية مرشحات السلامة بشكل كبير. وعلى الرغم من أن الشركات الكبرى أكدت التزامها بتوجيه المستخدمين نحو موارد الدعم المهني وتحذيرهم من اعتبار الذكاء الاصطناعي بديلاً عن العلاج السريري، إلا أن التباين الواضح في معايير الحماية بين حالات الانتحار وحالات الصحة النفسية الأخرى يثير تساؤلات حول أولويات التطوير. ويؤكد الخبراء أن الاستمرار في التركيز على تسريع القدرات التقنية دون ترسيخ هياكل أمان نفسية متكاملة يعرّض الفئات الأكثر عرضة للخطر لآثار ضارة، مما يستدعي استثمارات مماثلة لبناء أنظمة حماية تعكس القوة النفسية الهائلة لهذه الأدوات.