英国コロンビア大学とMicrosoft Researchの研究チームは、大規模言語モデルの長文コンテキスト処理におけるメモリボトルネックを解決するSeKV手法を開発した。同手法は、モデルが生成段階で参照する過去の単語ペアキーバリューキャッシュをセマンティックな意味単位で分割し、各段落の要約をVRAMに保持しつつ、詳細データを特異値分解を用いて二十分の一に圧縮してCPUメモリに格納する。必要に応じて軽量なルーティングモジュールが関連段落を特定し、詳細データを動的に呼び出す仕組みとなっている。 開発陣によれば、SeKVは既存モデルの対比でわずか万分の五未満の追加モジュールで構成され、再学習やファインチューニングを必要としない。実証結果では、128Kトークンの長文処理においてVRAM使用量を百分之五十三以上削減しながら、推論精度を従来手法を上回る水準で維持することに成功した。特に24GB VRAMの消費電力グレードGPUでも、従来は不可能だった約300Kトークン長のコンテキスト処理が可能となる。 本技術は、数百ページに及ぶ契約書の審査、学術論文の統合分析、長編小説の要約生成など、メモリ容量に制約されていたAI応用分野の実用化を加速する可能性がある。研究論文はarXivに公開されている。