Command Palette
Search for a command to run...

要約
我々は、低ランク学習を用いた進化的ガイド付き一般最適化(Evolution Guided General Optimization via Low-rank Learning, EGGROLL)を提案する。これは、数十億パラメータを有する現代の大規模ニューラルネットワークアーキテクチャにおいて、バックプロパゲーション不要な最適化を大規模な集団サイズへスケーリングすることを目的とした進化的戦略(Evolution Strategies, ES)アルゴリズムである。ESは、非微分可能またはノイズを含む目的関数に対しても対応可能な強力なブラックボックス最適化手法であり、並列化によって優れたスケーラビリティを示す。しかし、通常のESでは、行列摂動の生成や各個体に対する順伝播計算に必要なバッチ行列積による計算コストおよびメモリコストが大きくなり、スケールが大きくなると実用不可能なほどになる。EGGROLLは、ランダム行列を低ランクに構成することで低ランク行列摂動を生成し、これによりフルランク摂動の代わりに使用することで、このボトルネックを克服する。全体の更新は複数のワーカーからなる集団における平均によって行われるため、依然として高ランクの更新が得られるが、各レイヤーあたりの補助記憶領域をからまで削減し、順伝播の計算コストもフルランクESと比較してからまで大幅に低減する。理論的解析により、本手法の低ランク更新が高速な収束速度でフルランク更新に収束することが示された。実験結果から、(1)EGGROLLは、タブラ・ラサ(tabula-rasa)強化学習設定において、ESの性能を損なうことなく、より高速に動作すること、(2)大規模言語モデル(LLM)の推論能力向上という観点で、GRPOと同等の性能を発揮すること、(3)整数型データ型のみで動作する非線形再帰型言語モデルの安定した事前学習を可能にすることを確認した。