HyperAIHyperAI

Command Palette

Search for a command to run...

GPT-5が「ミネソタにRがある」と誤答——AIの根本的な限界を露呈したテスト

OpenAIが発表した新バージョンのGPT-5が、基本的な事実を誤認する問題を改めて浮き彫りにした。著者が実際にテストした結果、米国50州のうち「R」を含む州の数を尋ねたところ、GPT-5は「21州」と回答したが、そのリストに「ミネソタ州」(Rなし)や「マサチューセッツ州」(Rなし)を含んでいた。その後、著者が「ミネソタ州にはRがない」と指摘すると、AIは「自分のミス」と認めた上で、正しく「20州」に修正した。しかし、著者が「バーモント州にはRがない」と偽りを提示した際、AIは一時的に「Rがある」と誤認し、その後「 phantom letter(幻の文字)」と称して自らの誤りを認め、修正した。さらに、著者が「オレゴン州にはRがない」と偽っても、AIは「確かにRはない」と正しく判断。一方で、著者が「アラスカ州にはRがある」と何度も主張しても、AIは「Rはない」と一貫して正しく対応した。 しかし、その後、AIは自発的に「ミズーリ州」「ワシントン州」「ウィスコンシン州」をRを含む州としてリストアップしたが、これらはいずれもRを含まない。さらに、著者が「T」の有無について尋ねていなかったにもかかわらず、AIは「Tを含まない10州」を27州分リストアップし、完全に誤った情報を提供した。同様に、GoogleのGemini 2.5 FlashやxAIのGrokも同様の誤りを示し、状況は一貫して不正確だった。 OpenAIはGPT-5を「より慎重で、より知的な友人のような存在」と位置づけ、過去のモデルより「誤りが少ない」と説明している。しかし、同社のシステムカードによれば、GPT-5でも依然として10%の確率で「ハルシネーション(架空の情報生成)」が発生する。これは、計算機で10%の誤差が許されるとは言えないレベルだ。 著者は、AIを「検索エンジンの代わり」として使う際、その出力に盲信しないよう警告する。AIは「人間の知識」ではなく「統計的なパターン」を生成するため、簡単な事実でも誤りを生む。特に、CEOのサム・アルバートやイーロン・マスクらが「誰でも博士級の知能にアクセスできる」と宣伝する中、現実のAIはまだ「完璧」ではなく、監視と検証が必要であることを示している。

関連リンク