ChatGPTが論文の訂正・取消を無視する深刻な問題が判明　学術レビューでの信頼性に警鐘

新研究が、ChatGPTが論文の訂正や無効化事実を無視する問題を明らかにした。イギリスのウェルズ大学のマイク・テーワル教授とイリニ・カツィレア博士らの研究チームは、217件の高影響力で撤回または懸念材料として指摘された学術論文を対象に、ChatGPTがそれらの質を評価する能力を検証した。この研究は2025年2月に学術出版専門誌「Learned Publishing」に掲載され、2024年10月から始まった「誤った科学：マスメディアの誤報の影響を解明する」プロジェクトの一環である。 研究チームは、各論文に対して30回ずつ評価を依頼し、合計6,510件の報告を収集。その結果、すべての回答で論文の撤回や誤りに関する記述が全く見られず、190件の論文に対して「世界レベルの優れた研究」や「国際的に優れた成果」と高い評価を与えた。最低評価の論文についても、批判は「学術的弱さ」に限定され、撤回や誤りの事実には言及しなかった。わずか5件で「議論の余地があるテーマ」という記述が見られたにとどまった。 さらに、撤回された論文から抽出した61の主張について、ChatGPTに10回ずつ真偽を確認させたところ、2分の1以上が「はい」や肯定的な回答を返し、一部は10年以上前に否定された事実に対しても肯定的な反応を示した。 研究チームは、こうした結果から「LLMからの情報は、信頼できると誤解されがちだが、必ず検証が必要である」と結論づけた。テーワル教授は「結果は予想外で、深刻な懸念を呈する。AI開発者に改善を促すとともに、ユーザーには、見た目が正確でも信頼しすぎないよう警告したい」と述べた。この研究は、AIを文献レビューなど学術的な情報収集に使う際のリスクを強く指摘しており、信頼性の確保には人間による検証が不可欠であることを示している。