L2MAC：大規模言語モデルを用いた広範なコード生成のための自動コンピュータ

Transformerに基づく大規模言語モデル（LLM）は、基盤となるTransformerアーキテクチャの固定されたコンテキスト窓（context window）に制約されており、長大かつ一貫性のある出力を生成する能力が制限されている。メモリ拡張型LLMは有望な解決策とされているが、現在の手法は長出力生成タスクに対応できない。その理由は、(1) メモリの読み取りにのみ焦点を当てており、メモリの進化を新しいメモリの連結に簡素化していること、(2) 特化したメモリ構造に依存しており、他のドメインに適応できないことにある。本論文では、ユーザーが提示するタスクを解決するためのプロンプトプログラムを格納する「命令レジスタ」と、最終出力および中間出力を保持する「ファイルストア」の2つの構成要素を持つ、初めて実用的なLLMベースの汎用記憶プログラム自動計算機（フォン・ノイマン構造）フレームワークであるL2MACを提案する。L2MACはLLMベースのマルチエージェントシステムであり、長大かつ一貫性のある出力生成を実現する。各命令は独立したLLMエージェントによって実行され、制御ユニットがそのコンテキストを管理し、ファイルストアとの効果的な相互作用を確保するために正確なメモリの読み書きを可能にする。これらの構成要素により、L2MACは有限なコンテキスト窓の制約を回避しつつ、複雑なユーザー指定タスクを満たす大規模な出力を生成することが可能となる。実証実験の結果、L2MACはシステム設計タスクにおける大規模なコードベースの生成において、既存の他のコーディング手法を大きく上回る最先端の性能を達成した。さらに、L2MACが書籍全体の執筆など汎用的な長文生成タスクにも適用可能であることを示し、既存手法に対する性能向上のメカニズムについて貴重な知見を提供している。