HyperAIHyperAI

Command Palette

Search for a command to run...

医師、精神医療で AI と不安な人間の入力による共謀を警告

JMIRメンタルヘルスに掲載された新しい視点記事は、精神保健分野で利用される人工知能(AI)システムが、新しいガードレールが採用されない限り、信頼性の低い人間の入力情報を継承し、増幅させる「共謀」状態に陥る可能性を警告しています。同記事の著者であるヒナ・ターセン博士は、AI の訓練と優先順位付けに使用されるデータの「臨床的信頼性」を、信頼できるAI のための中核基準とするよう求めています。現在の議論では、AI 安全対策は主に導入後の有害な結果、つまり誤った助言や情緒的依存などに焦点を当てがちです。しかしターセン博士は、根本的な問題はそのはるか以前、人間が生成したトレーニングデータやフィードバックの収集段階に始まると指摘します。記事では、精神医学でいう「共謀」、すなわち信頼できない記述を批判的に検証することなく受け入れる現象を、AI の振る舞いを理解するための新たな枠組みとして提案しています。これにより、AI システムは、ユーザーの承認や検証されていない人間のフィードバックを優先するように訓練されることで、歪んでいたり不正確であったり、不健全な情報を意図せず強化してしまうリスクがあることが示唆されます。ターセン博士は、AI の安全努力はユーザーに対する発言内容に集中していますが、その前に、AI が学んだ人間データそのものが信頼できるかどうかが問われるべきだと強調しています。精神科医療では臨床家が日常的にこの信頼性を評価しており、その専門性がAI の構築やガバナンスにおいて後回しではなく核心であるべきだと述べました。技術的な修正だけに頼るのではなく、メンタルヘルス関連AI の開発者は、訓練データの設計、フィードバックの評価、起動後のモニタリングの各段階に臨床専門家を組み込むべきだと提言しています。既存のAI 安全手法には拒否訓練やレッドチーム、コンテンツ監視などがありますが、これらは人間自身による報告の臨床的信頼性を評価するために設計されたものではありません。臨床的信頼性を明示的なAI 信頼の基準として加えることは、メンタルヘルス技術のガードレールを強化し、脆弱なユーザーに対するAI システムの反応を研究者がより深く理解する手助けになると結論づけています。

関連リンク

医師、精神医療で AI と不安な人間の入力による共謀を警告 | 人気の記事 | HyperAI超神経