セッション記録の自動記憶は非効率である
エージェント専門研究組織Agenticsは、ソフトウェア開発エージェントが以前の会話履歴(セッショントランスクリプト)を検索してメモリとして蓄積する手法が、実務において性能向上に寄与しないことを明らかにした。同社は従来、会話履歴にはコードの意図や検証済みのアプローチなど重要な文脈が含まれると見ており、当該技術を製品化していた。しかし、長期間にわたる実証実験の結果、他の文脈ソースへのアクセスが可能な環境では、履歴検索機能の有無でテスト性能に差が生じないか、むしろモデルの精度が低下することが判明した。 その主な要因は、エージェントが既存の技術アーキテクチャにおいて、価値ある情報をコードやコミットメッセージ、プルリクエストのメタデータへ既に抽出・保存している点にある。履歴検索を行うと、エージェントは既知の情報を再読み取りする一方、人間が意図的に除外したノイズや断片的なデータを拾い読みし、トークン消費を増加させる。さらに、現在のAIエージェントは不要な文脈を削除するメモリ管理機能が欠如している。入力されたすべてのデータが意図として扱われるため、過去のセッションで生成された無検証のコードやメモリが蓄積されるにつれ、意図のズレが増幅する。大規模言語モデルは入力データの誤りを前提とすることを罰則構造で設計されているため、エージェントが自己判断でメモリを剪定することは困難であり、自動記憶は品質低下とコスト増を招くのみである。 Agenticsは、セッショントランスクリプトの活用は開発チームの可観測性向上には有効であるとしつつ、エージェントの自律的学習には人間の関与が不可欠だと結論づけた。同社の内部システムNoriでは、週次で技術資産を分析した変更提案を自動化しているが、開発者が変更差分を確認し承認するのは20%未満である。自動適用がモデル性能を悪化させる要因になっていたことを示唆するこの知見は、セッション履歴を自動蓄積する既存のツール設計見直しを迫るものであり、今後は構造化されたコード資産の活用と人間の検証プロセスを融合したエージェント設計が主流になるとみられる。
