Yuling Shi Yichun Qian Hongyu Zhang Beijun Shen Xiaodong Gu

要約

長文脈におけるコード生成は、大型言語モデル（LLM）がコードベース内の膨大な情報を処理・推論する必要が高まるにつれて、ますます重要性を増している。近年の技術進展により、コード用LLMは長文入力を処理できるようになったが、依然として高いAPIコストと生成遅延が大きな課題となっている。既存の文脈圧縮手法（例：LLMLingua）は汎用テキストに対して優れた成果を上げているものの、コード特有の構造や依存関係を無視しており、プログラミングタスクにおいては最適な性能を発揮できていない。本論文では、コード用LLMに特化した新たなプラグアンドプレイ型コード圧縮フレームワーク「LongCodeZip」を提案する。LongCodeZipは二段階戦略を採用している。（1）粗粒度圧縮：指示文に対する条件付き自己エントロピーを用いて関数単位のチャンクを識別・順位付けし、最も関連性の高い関数のみを保持する。また（2）細粒度圧縮：保持された関数を自己エントロピーに基づいてブロックに分割し、動的なトークン予算のもとで関連性を最大化する最適なサブセットを選択する。コード補完、要約、質問応答といった複数のタスクにおいて実施された評価では、LongCodeZipはベースライン手法を一貫して上回り、タスク性能を損なわずに最大5.6倍の圧縮比を達成した。本手法により、重要な情報を保持しつつ文脈サイズを効果的に削減することで、LLMが現実世界の大規模コード環境にスケーラブルに適応する可能性が高まり、コードインテリジェンスアプリケーションの効率性と能力が飛躍的に向上することが期待される。