Recursive Language Models,通称 RLMs は、長文脈タスクにおけるパフォーマンスを飛躍的に向上させる新しいアーキテクチャとして注目されています。従来の Agentic ハーネスである ReAct や CodeAct、サブエージェント方式が直面していた根本的な課題とは、膨大な情報をモデルのコンテキストウィンドウ内に直接読み込む必要があり、結果の生成や記憶の維持において伝送エラーやメモリオーバーロードが発生しやすかった点です。RLM はこれらを解決するため、外部の REPL（Read-Eval-Print-Loop）環境と統合されたパイプラインを採用しています。 RLM の核心は、LLM がコンテキストを参照するのではなく、意図的にスライスして読み込むプログラム的な探求能力にあります。モデルは Python 環境でコードを実行し、変数に対して正規表現や分割処理を行い、必要な情報だけを抽出して蓄積します。これにより、数兆トークン規模の文脈であっても、必要な部分のみを効率的に処理することが可能になります。また、中間結果をファイルシステムに保存するのではなく、REPL 上の永続的な変数として保持できるため、以前の実行結果を参照しながら論理を積み重ねることができます。 最も革新的な点は、再帰的なサブエージェントの活用です。RLM の親エージェントはタスクを分解し、特定のプロンプトで新しいサブエージェントを起動します。親エージェントはサブエージェントの結果をコンテキストウィンドウに完全に読み込む必要はなく、Python の変数として受け取って操作できます。これにより、複数のタスクを並列処理したり、大規模なデータを分割して処理した結果を統合したりする際のコストと時間を大幅に削減できます。また、出力生成についても、従来のトークン順の自己回帰生成に限定されず、計算された変数自体を直接回答として返すことが可能になり、事実上無制限の長文出力を実現します。 このアプローチにより、RLM は「注意散漫」を防ぎ、ノイズの多い入力から必要な情報だけを賢く選別できます。モデルは必要な部分にのみ計算リソースを集中させるため、コスト効率も向上します。さらに、親エージェントはプランナーとして機能し、サブエージェントは実行者として振る舞うため、異なる能力を持つモデルを適切に分担させることも可能です。現在、この RLM の概念は、長文書要約やコードベースの検索など、複雑な推論が必要なタスクにおいて、既存の手法を凌ぐ成果を示しており、今後のエージンティック AI の発展に大きく寄与すると期待されています。