Memp: Untersuchung der prozeduralen Gedächtnisbildung bei Agenten

Große Sprachmodelle (Large Language Models, LLMs) basierende Agenten zeigen herausragende Leistungsfähigkeit bei einer Vielzahl von Aufgaben, leiden jedoch unter einer brüchigen, manuell konstruierten oder in statischen Parametern verflochtenen prozeduralen Erinnerung. In dieser Arbeit untersuchen wir Strategien, um Agenten eine lernbare, aktualisierbare und lebenslange prozedurale Erinnerung zu verleihen. Wir stellen Memp vor, das vergangene Agentenverläufe sowohl in fein granulierte, schrittweise Anweisungen als auch in abstrahierende, skriptartige Überbegriffe verdichtet. Zudem analysieren wir den Einfluss verschiedener Strategien für die Erstellung (Build), Abruf (Retrieval) und Aktualisierung (Update) der prozeduralen Erinnerung. In Kombination mit einem dynamischen Regime, das deren Inhalte kontinuierlich aktualisiert, korrigiert und veraltet, entwickelt sich diese Erinnerungssammlung synchron mit neuen Erfahrungen. Empirische Evaluierungen an den Aufgabenstellungen TravelPlanner und ALFWorld zeigen, dass sich die Erfolgsraten und Effizienz der Agenten kontinuierlich verbessern, je mehr die Erinnerungssammlung verfeinert wird. Darüber hinaus behält prozedurale Erinnerung, die aus einem leistungsfähigeren Modell stammt, ihren Wert: Die Migration dieser Erinnerung auf ein schwächeres Modell führt zu erheblichen Leistungssteigerungen.