L2MAC: Large Language Model Automatic Computer for Extensive Code Generation

Transformer-basierte große Sprachmodelle (LLMs) sind durch das feste Kontextfenster der zugrunde liegenden Transformer-Architektur eingeschränkt, was ihre Fähigkeit beeinträchtigt, lange und kohärente Ausgaben zu generieren. Speichererweiternde LLMs stellen eine vielversprechende Lösung dar, doch bestehende Ansätze können Aufgaben zur Generierung langer Ausgaben nicht effektiv bewältigen, da sie (1) lediglich auf das Lesen des Speichers fokussieren und dessen Entwicklung auf die Konkatenation neuer Speicherinhalte reduzieren oder (2) sehr spezialisierte Speicher verwenden, die sich nicht auf andere Domänen übertragen lassen. In dieser Arbeit präsentieren wir L2MAC, den ersten praktikablen, auf LLMs basierenden, allgemein verwendbaren gespeicherten-Programm-Automaten (von-Neumann-Architektur), einen LLM-basierten Multi-Agenten-Systemrahmen zur Generierung langer und konsistenter Ausgaben. Sein Speichersystem besteht aus zwei Komponenten: einem Befehlsregister, das mit einem Prompt-Programm gefüllt wird, um die vom Benutzer gestellte Aufgabe zu lösen, sowie einem Dateispeicher, der sowohl endgültige als auch Zwischenausgaben enthält. Jeder Befehl wird von einem separaten LLM-Agenten ausgeführt, dessen Kontext durch eine Steuereinheit verwaltet wird, die präzises Lesen und Schreiben im Speicher ermöglicht und somit eine effektive Interaktion mit dem Dateispeicher gewährleistet. Diese Komponenten ermöglichen es L2MAC, umfangreiche Ausgaben zu generieren, wodurch die Beschränkungen des endlichen Kontextfensters umgangen werden, während gleichzeitig Ausgaben erzeugt werden, die komplexe, vom Benutzer vorgegebene Aufgaben erfüllen. Wir zeigen empirisch, dass L2MAC bei der Generierung großer Codebasen für Systemdesignaufgaben die derzeit beste Leistung erzielt und andere Programmiermethoden erheblich übertrifft, insbesondere bei der Umsetzung detaillierter Benutzeranforderungen. Zudem zeigen wir, dass L2MAC für allgemeine, umfangreiche textbasierte Aufgaben geeignet ist, beispielsweise das Schreiben eines gesamten Buches. Schließlich liefern wir wertvolle Einblicke in die Leistungsverbesserung von L2MAC gegenüber bestehenden Methoden.