L2MAC: 대규모 언어 모델 기반 자동 컴퓨터를 통한 광범위한 코드 생성

기반 Transformer 아키텍처의 고정된 컨텍스트 창(문맥 창)에 의해 기반을 둔 대규모 언어 모델(LLM)은 긴 일관성 있는 출력을 생성하는 능력에 제약을 받는다. 메모리 증강형 LLM은 이 문제에 대한 유망한 해결책이지만, 현재의 접근 방식은 (1) 메모리 읽기만에 집중하여 메모리의 진화를 새로운 메모리의 연결(concatenation)로 단순화하거나 (2) 특정 도메인에만 적합한 매우 특화된 메모리를 사용하기 때문에 긴 출력 생성 작업을 처리할 수 없다. 본 논문은 L2MAC를 제안한다. L2MAC는 세계 최초로 실용적인 LLM 기반의 일반 목적의 저장 프로그램 자동 컴퓨터(폰 노이만 아키텍처) 프레임워크이자, 긴 일관성 있는 출력 생성을 위한 LLM 기반 다중 에이전트 시스템이다. L2MAC의 메모리는 두 가지 구성 요소로 이루어져 있다. 하나는 사용자에게 주어진 작업을 해결하기 위해 프롬프트 프로그램으로 채워지는 지시어 레지스터(instruction registry)이고, 다른 하나는 최종 출력과 중간 출력을 포함하는 파일 저장소(file store)이다. 각 지시어는 별도의 LLM 에이전트에 의해 실행되며, 제어 유닛(control unit)이 각 에이전트의 컨텍스트를 관리하여 파일 저장소와의 효과적인 상호작용을 보장하기 위해 정밀한 메모리 읽기 및 쓰기 기능을 수행한다. 이러한 구성 요소들은 L2MAC가 유한한 컨텍스트 창의 제약을 회피하면서도 복잡한 사용자 지정 작업을 충족하는 광범위한 출력을 생성할 수 있도록 한다. 실증적으로 L2MAC가 시스템 설계 작업에서 대규모 코드베이스 생성 측면에서 최고 수준의 성능을 달성함을 입증하였으며, 사용자 지정 작업의 세부 구현에서 다른 코드 생성 방법들에 비해 뚜렷한 우위를 보였다. 또한 L2MAC가 책 전체를 작성하는 등 일반적인 긴 텍스트 기반 작업에도 효과적으로 적용될 수 있음을 보여주었으며, 기존 방법에 비해 L2MAC의 성능 향상에 대한 귀중한 통찰을 제시한다.