Command Palette

Search for a command to run...

15日前

エージェンティック・コンテキスト工学:自己改善型言語モデルのための進化するコンテキスト

エージェンティック・コンテキスト工学:自己改善型言語モデルのための進化するコンテキスト

要約

大規模言語モデル(LLM)の応用分野、特にエージェントやドメイン特化型推論において、コンテキストの適応がますます重要性を増している。これは、モデルの重みを更新するのではなく、指示、戦略、証拠などを用いて入力を修正するアプローチである。従来の手法は使いやすさを向上させるが、しばしば「要約志向バイアス(briefness bias)」に陥り、ドメイン特有の知見が簡潔な要約に置き換わる問題や、反復的な再記述によって情報が徐々に消失する「コンテキストの崩壊(context collapse)」という課題を抱えている。本研究では、Dynamic Cheatsheetで提案された「適応型メモリ」の概念を発展させ、ACE(Agentic Context Engineering)というフレームワークを提案する。ACEは、コンテキストを進化する戦略マニュアル(playbook)と捉え、生成、反省、キュレーションというモジュール化されたプロセスを通じて、戦略を蓄積・精緻化・整理する。このアプローチにより、構造的で段階的な更新が可能となり、詳細な知識の保持が実現され、長文コンテキストモデルとのスケーラビリティも確保される。エージェントおよびドメイン特化型のベンチマークにおいて、ACEはオフライン(例:システムプロンプト)およびオンライン(例:エージェントの記憶)の両方の文脈最適化を実現し、強力なベースラインを一貫して上回る結果を示した。エージェントタスクでは+10.6%、金融分野では+8.6%の性能向上を達成するとともに、適応の遅延と展開コストを大幅に削減した。特に注目すべきは、ACEがラベル付き教師信号に依存せずに、自然な実行フィードバックのみを活用して効果的に適応可能だった点である。AppWorldのリーダーボードでは、ACEはより小さなオープンソースモデルを用いながらも、全体平均でトップのプロダクションレベルエージェントと同等の性能を達成し、難易度の高いテスト・チャレンジスプリットではそれを上回った。これらの結果は、包括的かつ進化し続けるコンテキストが、低オーバーヘッドでスケーラブルで効率的かつ自己改善可能なLLMシステムの実現を可能にすることを示している。

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
エージェンティック・コンテキスト工学:自己改善型言語モデルのための進化するコンテキスト | 論文 | HyperAI超神経