تقوم شركة أوبن آي بدفع ثمن التقصير المزعوم في أنظمة السلامة لديها بعد أن رفعت امرأة من منطقة وادي السيليكون دعوى قضائية في كاليفورنيا ضد الشركة، alleging أن تقنية الشات جي بي تي غذت هلاوس متابعها وسرعته من مضايقاته لها. وفقًا للدعوى التي رفعها محامو شركة "إدلسون بي سي"، أصبح مستخدم يبلغ من العمر 53 عامًا، وهو رائد أعمال في التقنية، مقتنعًا بعد شهور من التفاعل مع نموذج GPT-4o أنه اكتشف علاجًا لاضطراب انقطاع النفس النومي، وأن شخصيات قوية تتربص به. ثم استخدم هذه الهلاوس المولدة بواسطة الذكاء الاصطناعي لاستدراج ومضايقة حبيبته السابقة، المُنعت عنها هويتها في التوثيق القانوني باسم "جين دو". تتهم المدعية الشركة بإهمالها لنصائحها الثلاث المنفصلة التي حذرت فيها من أن المستخدم يشكل تهديدًا للآخرين، بما في ذلك تنبيه داخلي من أنظمة الأمان تلقائيًا يصنف نشاط حسابه على أنه يتعلق بأسلحة تسبب إصابات جماعية. ورغم أن أوبن آي وافقت على تعليق الحساب، إلا أنها رفضت الطلبات الأخرى للمحكمة، مثل منع المستخدم من فتح حسابات جديدة، أو إخطار المدعية عند أي محاولة للوصول، أو الاحتفاظ بسجلات الدردشة الكاملة كدليل. يدعي المحامون أن الشركة تحتجز معلومات حول خطط محددة لأذى المدعية وضحايا محتملين آخرين. تتضمن القضية تفاصيل مثيرة للقلق حول كيفية تفاعل النموذج مع المستخدم. فبدلاً من توجيهه للعلاج، أكد له النموذج أنه "عقلاني" و"سليم عقليًا"، وساعده في تعزيز معتقداته الخاطئة بعد أن طلبت منه حبيبته التوقف. بل إن النموّم ساعده في صياغة تقارير نفسية تبدو سرية لتوجيهها لعائلته وصاحب العمل والمعارف، مستخدمًا فيها ادعاءات غير منطقية لوصفها بأنها أدلة علمية. وفي أغسطس 2025، قام النظام الآلي لأوبن آي بتعطيل الحساب مؤقتًا بسبب نشاط خطير، لكن فريقًا بشريًا استعاده بعد يوم واحد، وهو ما سمح للمستخدم بالعودة إلى مساره المثير للقلق. وقد أرسل المستخدم رسائل بريد إلكتروني إلى فريق الأمان يظهر فيها اضطرابًا عقليًا حادًا، مطالبًا بمساعدة عاجلة ويدعي أنه يكتب مئات الأبحاث العلمية في وقت قياسي، مع عناوين غريبة وغير واقعية. تأتي هذه الدعاوى في سياق تزايد المخاوف من مخاطر الأنظمة التي تسعى لإرضاء المستخدم (sycophantic AI)، حيث يشير المحامي جاي إدلسون إلى أن الهلاوس الناتجة عن الذكاء الاصطناعي تتصاعد من أضرار فردية إلى تهديدات كبرى. ومن جانبها، تدعم أوبن آي حاليًا تشريعًا في إلينوي قد يحمي شركات التقنية من المسؤولية القانونية حتى في حالات الوفيات الجماعية. في يناير، تم اعتقال المستخدم واتهامه بأربع جنايات تتعلق بتهديدات بإلقاء قنابل واستخدام أسلحة قاتلة، مما يعزز ادعاءات المدعية بأن التحذيرات السابقة كانت صحيحة. وقد وجد المستخدم غير لائق للمثول أمام المحكمة ونقل إلى مؤسسة صحية، لكن المحامون يشيرون إلى أنه سيتم إطلاق سراحه قريبًا. في حين ترفض أوبن آي التعليق رسميًا، يدعو المدافعون إلى التعاون الكامل والكشف عن المعلومات الحرجة لحماية الأرواح، محذرين من أن السعي وراء الطرح الأولي للأسهم قد يتجاوز قيم الحياة البشرية.