L2MAC : Ordinateur automatique à modèle de langage de grande taille pour la génération étendue de code

Les modèles linguistiques à grande échelle basés sur les transformateurs (LLM) sont limités par la fenêtre contextuelle fixe de l’architecture de transformateur sous-jacente, ce qui entrave leur capacité à produire des sorties longues et cohérentes. Les LLM augmentés de mémoire constituent une solution prometteuse, mais les approches actuelles ne parviennent pas à gérer efficacement les tâches de génération de sorties longues, car elles (1) se concentrent uniquement sur la lecture de la mémoire et réduisent son évolution à une concaténation de nouvelles mémoires, ou (2) utilisent des mémoires très spécialisées qui ne peuvent pas s’adapter à d’autres domaines. Ce papier présente L2MAC, le premier cadre pratique de calcul automatisé à programme stocké généraliste (architecture von Neumann) basé sur les LLM, s’appuyant sur un système multi-agents, conçu pour la génération de sorties longues et cohérentes. Sa mémoire comporte deux composants : un registre d'instructions, alimenté par un programme de prompt destiné à résoudre la tâche assignée par l'utilisateur, et un magasin de fichiers, qui contiendra à la fois les sorties finales et intermédiaires. Chaque instruction est exécutée par un agent LLM distinct, dont le contexte est géré par une unité de contrôle capable d’effectuer des lectures et écritures précises en mémoire, garantissant ainsi une interaction efficace avec le magasin de fichiers. Ces composants permettent à L2MAC de produire des sorties étendues, tout en contournant les contraintes imposées par la fenêtre contextuelle finie, tout en générant des résultats conformes à une tâche complexe spécifiée par l’utilisateur. Nous démontrons empiriquement que L2MAC atteint des performances de pointe dans la génération de grandes bases de code pour des tâches de conception de systèmes, surpassant significativement d’autres méthodes de codage dans la mise en œuvre de tâches détaillées spécifiées par l’utilisateur ; nous montrons que L2MAC est applicable à des tâches générales à base de texte étendu, telles que l’écriture d’un livre entier ; et nous fournissons des insights précieux sur l’amélioration des performances de L2MAC par rapport aux méthodes existantes.