HyperAIHyperAI

Command Palette

Search for a command to run...

Q Labsが千兆トランスフォーマーの学習法を提案

キューラボの研究チームは2026年、データが増やせない環境で学習する大規模言語モデルについて、従来の推奨より桁違いに大きなモデルが有利になると論文で示した。人間は少ないデータで学習するため、人工知能のパラメータが不足しているとの仮説が背景にある。 従来法はデータ量とモデル規模を連動させるが、データ固定で何度も学習する段階では演算量を増やしても性能が改善しにくい。新手法は学習回数、モデル規模、複数の予測を統合する数を加えたスケーリング則で、最適化の重み減衰を学習回数と規模に応じて強める。スナップショット統合は追加の訓練を要さず、独立モデルの統合は規模が大きいほど効く。 試算では5兆トークンで従来法より約7000倍の総パラメータが最適となり、演算量を16倍しても損失がほぼ最適に近づくとされる。データ不足時代のモデル設計とサンプル効率改善に寄与する半面、実用には新たなアルゴリズムと巨大な計算資源が必要になる。

関連リンク