Speichererweitertes Modell

Das Memory-Augmented Model (M+) ist ein gedächtniserweitertes Modell basierend auf MemoryLLM, das von der University of California, San Diego, und mehreren Forschungsteams am 30. Mai 2025 vorgeschlagen wurde. Es kann die Fähigkeit, Informationen langfristig zu speichern, deutlich verbessern. Die relevanten Ergebnisse der Studie lauten:M+: Erweiterung des GedächtnissesLLM mit skalierbarem Langzeitgedächtnis".

M+ integriert einen Langzeitgedächtnismechanismus mit einem gemeinsam trainierten Retriever, um während der Textgenerierung dynamisch relevante Informationen abzurufen. Das Forschungsteam evaluierte M+ anhand verschiedener Benchmarks. Die experimentellen Ergebnisse zeigten, dass M+ MemoryLLM und aktuelle, leistungsstarke Basismodelle deutlich übertraf und die Wissensspeicherkapazität von weniger als 20.000 Token auf über 160.000 Token bei ähnlichem GPU-Speicher-Overhead erhöhte.