Queensland University of Technology（QUT）とAustralian Center for Health Services Innovation（AusHSI）の研究チームは、脳卒中および糖尿病のリスクを予測するAIモデルの多くが、出典が検証できないデータセットに依存している可能性があると警告する論文を医学情報誌BMC Medicineに発表した。チームを率いるAlexander Gibson氏らは、機械学習プラットフォームKaggleで広く公開されている2つの健康データセットを調査した結果、データの収集経緯や患者の実際の反映の有無についてほとんど情報が提供されていないことを確認した。 国際的に認知されている報告枠組みTRIPOD＋AIを用いた評価では、両データセットのデータ出典に関する基準で0点（満9点）を記録した。これらのデータセットはこれまで125件の査読済み論文で使用され、そのうち3つの予測モデルは臨床現場で活用されているとされる。さらに1モデルは医療機器の特許文献で引用され、86件の総説論文でも参照されていた。しかし、信頼性を欠くデータに基づく研究として既に7件が学術誌から撤回されている。 Gibson氏は、出典不明のデータから構築された予測モデルは臨床意思決定の過程で用いるべきではないと強調する。信頼性の低いデータに基づく出力は医療従事者を誤導し、患者に甚大な危険をもたらすリスクがあると指摘した。研究チームは、学術誌、資金提供機関、データリポジトリに対してデータソースの開示要件を強化すること、および両Kaggleデータセットの削除を促すことを求めている。 この問題は、医療分野におけるAIツールの急速な普及に伴う構造的な課題を浮き彫りにしている。Gibson氏は、科学的な体裁を備えながら基本的な透明性を欠く研究が急増しており、適切な保護策が講じられなければ、信頼性の低いモデルが学術文献から実際の臨床現場へと流入し続ける恐れがあると警鐘を鳴らした。QUTのAdrian Barnett教授およびNicole White准教授も本研究に参加している。