AIが論文要約で精度を失う実態:科学ジャーナリストの実験で明らかに
科学ジャーナリストたちが、ChatGPTが科学論文の要約に適していないことを実証した。複数の研究者と記者が共同で実施したテストでは、大規模言語モデル(LLM)が科学論文の内容を要約する際、正確性よりも簡潔さを優先する傾向があることが明らかになった。特に、専門的な用語や複雑な因果関係を簡略化しすぎ、重要なデータや研究の限界を誤って表現するケースが相次いだ。 調査に参加した科学ジャーナリストたちは、ChatGPTが出力するニュース要約が、一般向けの読みやすさは保っているものの、学術的正確性に欠けると指摘した。たとえば、因果関係を誤って解釈したり、実験条件の重要性を軽視したり、結果の信頼性を過剰に誇張するなど、専門家の視点から見ると重大な誤りが含まれていた。 研究者たちは、AIが「情報の簡潔さ」を追求するあまり、科学的ニュアンスや不確実性を無視する傾向があると分析。結果として、誤解を招く報道や、研究の信頼性を損なうリスクが生じると警告している。 この結果は、AIを科学情報の伝達ツールとして使う際、必ず人間の専門家による検証と校正が必要であることを示している。AIは情報の初稿作成には有効だが、科学的正確性を求める場面では、その出力をそのまま採用すべきではない。
