HyperAIHyperAI

Command Palette

Search for a command to run...

L2MAC: Large Language Model Automatic Computer for Extensive Code Generation

Samuel Holt Max Ruiz Luyten Mihaela van der Schaar

Zusammenfassung

Transformer-basierte große Sprachmodelle (LLMs) sind durch das feste Kontextfenster der zugrunde liegenden Transformer-Architektur eingeschränkt, was ihre Fähigkeit beeinträchtigt, lange und kohärente Ausgaben zu generieren. Speichererweiternde LLMs stellen eine vielversprechende Lösung dar, doch bestehende Ansätze können Aufgaben zur Generierung langer Ausgaben nicht effektiv bewältigen, da sie (1) lediglich auf das Lesen des Speichers fokussieren und dessen Entwicklung auf die Konkatenation neuer Speicherinhalte reduzieren oder (2) sehr spezialisierte Speicher verwenden, die sich nicht auf andere Domänen übertragen lassen. In dieser Arbeit präsentieren wir L2MAC, den ersten praktikablen, auf LLMs basierenden, allgemein verwendbaren gespeicherten-Programm-Automaten (von-Neumann-Architektur), einen LLM-basierten Multi-Agenten-Systemrahmen zur Generierung langer und konsistenter Ausgaben. Sein Speichersystem besteht aus zwei Komponenten: einem Befehlsregister, das mit einem Prompt-Programm gefüllt wird, um die vom Benutzer gestellte Aufgabe zu lösen, sowie einem Dateispeicher, der sowohl endgültige als auch Zwischenausgaben enthält. Jeder Befehl wird von einem separaten LLM-Agenten ausgeführt, dessen Kontext durch eine Steuereinheit verwaltet wird, die präzises Lesen und Schreiben im Speicher ermöglicht und somit eine effektive Interaktion mit dem Dateispeicher gewährleistet. Diese Komponenten ermöglichen es L2MAC, umfangreiche Ausgaben zu generieren, wodurch die Beschränkungen des endlichen Kontextfensters umgangen werden, während gleichzeitig Ausgaben erzeugt werden, die komplexe, vom Benutzer vorgegebene Aufgaben erfüllen. Wir zeigen empirisch, dass L2MAC bei der Generierung großer Codebasen für Systemdesignaufgaben die derzeit beste Leistung erzielt und andere Programmiermethoden erheblich übertrifft, insbesondere bei der Umsetzung detaillierter Benutzeranforderungen. Zudem zeigen wir, dass L2MAC für allgemeine, umfangreiche textbasierte Aufgaben geeignet ist, beispielsweise das Schreiben eines gesamten Buches. Schließlich liefern wir wertvolle Einblicke in die Leistungsverbesserung von L2MAC gegenüber bestehenden Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp