人工知能のモデル崩壊を防ぐ鍵となる分析研究が発表されました。モデル崩壊とは、2024 年に名付けられた現象で、AI モデルが生成したデータのみで学習を繰り返すことで精度が低下し、最終的に意味のない回答を出力してしまう事態を指します。大規模言語モデルの訓練に使える高品質なテキストデータが不足する中、AI 生成データの割合が増えつつある現在、このリスクは深刻化しています。 キングス・カレッジ・ロンドン、ノルウェー工科大学、アブドゥス・サラーム国際理論物理学センターの研究者チームは、単純かつ強力な統計モデル「指数族」を用いた分析を通じて、この問題に対する驚くべき解決策を見出しました。彼らの研究では、モデルが自ら生成したデータだけで閉じたループで学習させる標準的な方法（最尤推定）は、必ずモデル崩壊を引き起こすことが示されました。しかし、外部からの実世界データがたった 1 つでも訓練データに含まれるか、あるいは過去の知識に基づく事前の信念が組み込まれるだけで、崩壊は完全に防止できることが判明しました。 この効果は、機械が生成したデータの量が無限大であっても発現し、極めて強力な特性を示しています。論文は『Physical Review Letters』に掲載され、この現象は指数族に限定されず、制限付きボルツマンマシンなどの他のモデルクラスでも同様に観察されたと報告しています。 研究を主導したヤッサー・ロウディ教授（キングス・カレッジ数学科）は、従来の複雑な大規模モデルでは内部の仕組みが不明確で、なぜ誤った回答が生成されるか説明できない「ハルシネーション」が問題となっていたと指摘しました。今回のように単純なモデルに焦点を当てることで、外部のデータ点がなぜ崩壊を防ぐのかを客観的な統計学的観点から解明でき、将来の AI 構築における重要な指針が得られたと述べています。 今後は、この基礎的な原理が ChatGPT や自動運転車など私たちの生活に深く関わる大規模モデルやニューラルネットワークにおいても有効であることを検証する予定です。AI 生成データに依存する学習が増える中、単一の実データポイントを組み込む簡潔な手法は、将来の AI 技術の安全性と信頼性を維持するための重要な役割を果たすことが期待されています。