HyperAIHyperAI

Command Palette

Search for a command to run...

継続的事前学習によるエージェントのスケーリング

概要

大規模言語モデル(LLMs)は、複雑な問題解決に向けた自律的なツール利用および多段階推論を可能とするエージェンティックシステムへと進化している。しかし、汎用的な基礎モデルに基づく事後訓練アプローチは、特にオープンソース実装においてエージェンティックタスクにおいて一貫して性能が劣る。本研究では、その根本原因を特定した。すなわち、堅牢なエージェンティック基礎モデルが存在しないため、事後訓練段階でモデルは多様なエージェンティック行動を同時に学習しつつ、専門家の示すサンプルに整合させる必要があるため、根本的な最適化のトレードオフが生じるという点である。これを解決するため、本研究は初めて、深層研究エージェントの訓練パイプラインに「エージェンティック継続的事前学習(Agentic CPT)」を組み込むことを提案し、強力なエージェンティック基礎モデルの構築に成功した。このアプローチに基づき、我々は深層研究エージェントモデル「AgentFounder」を開発した。AgentFounder-30Bを10のベンチマークで評価した結果、最先端の性能を達成するとともに、強力なツール利用能力を維持しており、特にBrowseComp-enで39.9%、BrowseComp-zhで43.3%、HLEではPass@1で31.5%の成績を記録した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています