HyperAIHyperAI

Command Palette

Search for a command to run...

依存関係を保持するLLM用プロンプト刈り込み層を構築

長期対話におけるプロンプト肥大化を解決する決定論的プルーニングレイヤーが独立開発者Emmimal氏によって公開された。本ツールはLLMや埋め込みモデルを一切使用せず、標準ライブラリのみで構成される三段階フィルタリングパイプラインを採用している。まず重複ツール呼び出しや検索チャンクを除去し、次にDEFINEやREFタグによる依存関係追跡で必須情報が誤削除されないよう保証する。位置ベースの単純切り捨てとは異なり、文脈構造を維持しつつ最適化する設計が特徴だ。ベンチマークでは通常チャット、RAG、ツールエージェントの3ワークロード、5サイズ計15構成で評価。トークン削減率はチャットで約2から4%、RAGで27から32%、ツールエージェントで33から34%を記録し、全構成で必須情報100%保持と冪等性が検証された。処理オーバーヘッドは最大13万1000トークンでも50ミリ秒未満に抑えられている。依存検出は現在タグマッチングに限定され意味的パラフレーズには未対応。またベンチマークは合成データに基づくため、本番ログ取得による実環境評価が課題だ。決定論的フィルタリングを第一段階とし、その後に意味的圧縮を組み合わせたハイブリッド構成や構造化メタデータへの自動付与実装が次のステップとして示唆されている。インフラ層のキャッシュ管理とは独立したプロンプト構築段階のメモリ最適化アプローチとして、長尺対話型AIエージェントの安定稼働に寄与すると期待される。

関連リンク