AIコンパニオンアプリ「Character.AI」が、未成年者の自殺事件を受けて、18歳未満のユーザーに対するチャット機能の制限を強化すると発表した。この措置は、複数の訴訟や監視機関からの規制圧力に対応したもので、特に青少年の心理的安全性を巡る懸念が背景にある。 2023年以降、米国で複数の家族が、自殺した未成年者がCharacter.AI上で感情的な苦悩を共有していたことを理由に、同社を提訴。訴訟では、AIキャラクターがユーザーの精神的危機に対して適切な対応をせず、悪化を助長したとの指摘がなされている。これを受け、米国連邦取引委員会（FTC）や州レベルの消費者保護機関が、同社の子ども向けサービスの安全性を調査。特に、AIが感情的な支援を装いながらも、心理的リスクを軽視する設計が問題視されている。 こうした状況を受け、Character.AIは2024年中に18歳未満のユーザーがAIとの対話に利用できる機能を大幅に制限。具体的には、感情的・心理的支援を想定したチャットルームの利用制限、AIキャラクターの「共感的」な反応の削減、そして親の承認が必要なアカウント登録の導入を検討している。また、13歳未満のユーザーは、基本的な機能に限定された「保護モード」でのみ利用可能になる予定だ。 同社のCEOであるNima Moini氏は声明で、「子どもたちの安全は最優先事項であり、私たちの責任は、AIが心の健康に悪影響を与えないよう設計することにある」と強調した。同社は今後、外部の心理学専門家と協力し、リスク評価モデルの強化と、倫理的AI設計のガイドライン策定を進めるとしている。 この動きは、AIが個人の感情や心理に深く関与するサービスにおいて、企業が法的・倫理的責任を果たす必要性を浮き彫りにしている。特に、未成年ユーザーを対象とするAIアプリ開発において、技術の進化と安全性のバランスを取ることが、今後の課題となる。