新たな研究によると、AI情報検索ツールは信頼性が低く、過信傾向があり、一方的な見解を示す傾向があることが明らかになった。スールフォースAI研究室のプラナブ・ナラヤナン・ベンキット氏らの研究チームは、ペルプレキシティ、ユーディオ、マイクロソフトのBingチャット、OpenAIのGPT-4.5など複数のAIシステムを対象に調査。約300の質問に対して検証を行い、その結果、AIが提示する主張の約3分の1が、提示された出典と一致しないことが判明した。特にGPT-4.5では、不正な主張が47％に達した。 この調査では、研究チームが独自に開発した「DeepTRACE」と呼ばれる監査フレームワークが用いられた。このフレームワークは、AIの信頼性を8つの指標で評価するもので、包括性、一貫性、出典の正確さ、過信度、偏りの有無などを測定した。質問は「再生可能エネルギーが化石燃料を代替できない理由は何か？」といった議論を要する「ディベート型」問題と、「計算流体力学で使われる主要なモデルは何か？」といった専門知識を問う「専門知識型」問題に分けられ、実際のユーザー行動を想定した評価が行われた。 結果として、AIは議論のテーマでは一方的な主張を自信を持って提示する傾向があり、多様な視点を反映しない。また、出典の正確性は40％から80％にとどまり、多くの場合、出典が不適切または事実と異なる内容を含んでいた。人間のレビューによる検証でも、AIの出力の信頼性は十分ではないことが確認された。 研究チームは、「AIは検索の効率を高めるが、ユーザーの判断力を損なうリスクがある。特にエコ・チェンバー効果や、ユーザーの自律性の低下といった社会的リスクを考慮する必要がある」と指摘。このフレームワークは、AIシステムの安全性と効果性を評価するための実用的なツールとしての価値を持つと結論づけている。 この研究は、AIが便利である一方で、完全に信頼できる情報源とは言えないことを強く警告している。ユーザーはAIの出力をそのまま受け入れず、必ず事実確認を行うべきである。研究結果はarXivに公開され、今後のAI開発と規制の指針となる可能性がある。