Date

1年前

モデルの崩壊は、人工知能の分野、特に機械学習と深層学習モデルのトレーニングで発生する問題です。これは、モデルがトレーニング中に実際のデータ分布からかけ離れたデータを生成し始めると、モデルのパフォーマンスが急激に低下し、最終的にはモデルの出力が無意味になるという事実を指します。

モデル崩壊の概念は、2024 年、特に大規模言語モデル (LLM) のトレーニングにおいて広く注目を集めています。紙"実データと合成データを蓄積することでモデルの崩壊は避けられないのか?「モデル崩壊の問題は実験と理論解析を通じて調査され、データを蓄積することでモデル崩壊を回避する戦略が提案されました。この論文は「ICML 2024 Workshop on Foundation Models in the Wild」に掲載されました。この論文は、モデルがそれ自体で生成されたデータでトレーニングされると、モデルのパフォーマンスが徐々に低下し、最終的にはモデルが役に立たなくなると指摘しています。この現象はモデル崩壊と呼ばれます。研究者らは、元の実データを各世代の合成データに置き換えると、確かにモデルの崩壊を引き起こすことを実験で検証した。さらに、生の実際のデータと並行して合成データを連続世代で蓄積することでモデルの崩壊を回避できることを示し、これらの結果はさまざまなモデルサイズ、アーキテクチャ、ハイパーパラメータにわたって保持されます。