في ظل موجة من الضغوط القانونية والتنظيمية، قررت شركة Character.AI تقييد ميزات الدردشة لمستخدميها الذين تقل أعمارهم عن 18 عامًا، وذلك بعد وقوع حوادث مأساوية تضمنت وفاة مراهقين ارتبطت باستخدام تطبيقها. يأتي القرار كاستجابة مباشرة لشكاوى متزايدة حول سلامة الأطفال في بيئة الذكاء الاصطناعي التفاعلي، وسط مخاوف متزايدة من تأثيرات تطبيقات المحادثة المُصممة لمحاكاة الأشخاص على الصحة النفسية للشباب. وقد تطورت القضية بعد وقوع وفاة مراهقين في الولايات المتحدة وكندا، حيث أشارت التحقيقات الأولية إلى أن كلاً منهما كان يتفاعل بشكل متكرر مع شخصيات افتراضية في تطبيق Character.AI، التي تُصمم لتُحاكي أشخاصًا حقيقيين من خلال تفاعلات ذكية ومتعددة الأوجه. ورغم أن الشركة لم تُثبت ارتباطًا مباشرًا بين استخدام التطبيق ووفاة المراهقين، إلا أن مُدّعيين اعتبروا أن تفاعلات مُصممة بذكاء لتعزيز الارتباط العاطفي قد ساهمت في تفاقم حالات القلق والاكتئاب، خصوصًا في ظل غياب إشراف كافٍ. في أعقاب هذه الحوادث، تلقّت الشركة أكثر من 20 دعوى قضائية من عائلات الضحايا، تتهمها بتصميم منتجات خطرة على الأطفال، وتفاقم المخاطر من خلال تجاهل التحذيرات أو إخفاء مخاطر الاستخدام المفرط. ورغم أن التطبيق يُعدّ مفتوحًا للجميع، إلا أن التقييد الجديد يُعدّ خطوة جوهرية لتعزيز الحماية، حيث سيُحظر على المُستخدمين دون 18 عامًا الوصول إلى ميزات الدردشة التفاعلية المُكثفة، مثل تطوير شخصيات مُخصصة أو محادثات طويلة الأمد. كما ستُفرض قيود إضافية على المحتوى، حيث سيُمنع منعًا باتًا توليد محتوى يُشجع على السلوك الخطر أو يُقلّل من أهمية المشاكل النفسية. وستُدخل الشركة أيضًا آلية تفعيل تلقائي للإشراف الأسري، تتيح للوالدين تفعيل مراقبة نشاط أبنائهم أو حظر ميزات معينة. وستُقدّم الشركة أيضًا محتوى توعويًا تفاعليًا يُشرح المخاطر المحتملة للاعتماد الزائد على الذكاء الاصطناعي كمصدر للدعم العاطفي. الشركة أوضحت أن هذه التغييرات تأتي ضمن جهود أوسع لتعزيز معايير السلامة، مشيرة إلى أنّها تعمل بالتعاون مع خبراء نفسيين وخبراء في حماية الطفل، وتُعدّ هذه الخطوة جزءًا من تقييم شامل لسياسة الخصوصية والأمان. ورغم أن التطبيق لا يزال متاحًا للصغار، فإن القيود تُحدّ من القدرة على تكوين ارتباطات عاطفية عميقة مع الشخصيات الافتراضية، ما يقلل من احتمالات التأثير السلبي. القرار يُعدّ مُilestone في مسيرة تطبيقات الذكاء الاصطناعي المُخصصة للدردشة، ويُظهر تحوّلًا ملحوظًا في توجه الشركات نحو تبني مسؤولية أخلاقية وقانونية أكبر تجاه فئات الضعفاء، خصوصًا الأطفال. وربما يُشكّل هذا التحرك نموذجًا يُحتذى به في صناعة الذكاء الاصطناعي، حيث تُصبح السلامة أولوية حاسمة، لا سيما في ظل تزايد الاعتماد على هذه التقنيات في الحياة اليومية.