Speichertest: Vollkontext für KI-Assistenten lohnt kaum

Ein neuer Benchmark namens DolphinBench verlagert die Bewertung von KI-Assistentengedächtnis von einfachen Faktenfragen auf die erfolgreiche Ausführung von Aufgaben. Das von Mem0 mitgetragene Verfahren, im September 2026 veröffentlicht, prüft mit simulierten Nutzerhistorien und je 200 Aufgaben, ob ein Assistent benötigte Fakten in Aktionen korrekt verwendet. Gleichzeitig werden Kosten und Laufzeit erfasst. Ein unabhängiger Test bestätigt den Kernbefund. Er verglich vier Gedächtnisdesigns mit zwei Modellen, OpenAI GPT-4o mini und Anthropic Claude Haiku 4.5. Grundlage war eine synthetische Projektmanager-Historie mit rund 40.000 Tokens, darunter 30 Fakten, teilweise spätere Korrekturen, und 30 Aufgaben, die Tool-Aufrufe erforderten. Jeder Aufgabe waren 30 Faktenfragen zugeordnet. Insgesamt wurden 1.260 Läufe protokolliert, auch in Weights & Biases. Ohne Gedächtnis wurde keine Aufgabe korrekt gelöst. Eine laufende Zusammenfassung erzielte bei den Aufgaben 70,0 Prozent mit GPT-4o mini und 67,8 Prozent mit Claude Haiku, blieb aber bei Detailfragen deutlich zurück und verlor beim Schreiben Fakten. Retrieval, also das Abrufen passender Textstellen, erreichte 88,9 Prozent gelöster Aufgaben mit GPT-4o mini und 85,6 Prozent mit Claude Haiku. Vollständige Übergabe der Historie fiel bei Aufgaben schwächer aus: 58,3 Prozent mit GPT-4o mini und 81,7 Prozent mit Claude Haiku. Gleichzeitig beantwortete GPT-4o mini mit vollständiger Historie 97 Prozent der Fragen korrekt, löste aber nur 58 Prozent der Aufgaben. Das zeigt, dass Erinnern und Handeln unterschiedliche Fähigkeiten sind. Der Kostenvergleich ist deutlich. Vollständige Historie kostete für 30 Aufgaben 0,232 US-Dollar bei GPT-4o mini und 1,66 US-Dollar bei Claude Haiku. Retrieval benötigte 0,007 beziehungsweise 0,081 US-Dollar und war damit etwa 20- bis 31-mal günstiger. Retriever war leicht langsamer, weil Such- und Antwortaufruf getrennt laufen; hohe Tokenmengen bei Vollhistorie verlängerten die Bearbeitungszeit kaum. Schwächen zeigten sich besonders bei geänderten Fakten. Die Vollhistorie enthält alte und neue Angaben gleichzeitig, was Modelle bei Widersprüchen verwirren kann. Eine laufende Zusammenfassung kann aktuelle Werte verlieren. Retrieval scheitert, wenn die Suchschicht relevante Stellen nicht findet; in Fällen mit korrekten Snippets lag die Erfolgsrate nahe am Testmaximum von 96,7 Prozent. Die Ergebnisse aus Eigenversuch und DolphinBench führen zu derselben Empfehlung: Assistenten-Gedächtnis sollte nicht nur über Antwortgenauigkeit bewertet werden, sondern über die Verbindung aus Aufgabenabschluss, Kosten und Zeit. Für viele Anwendungen lohnt ein kleiner Evaluationslauf mit eigener Historie, mehreren Designs und mindestens einem veränderten Fakt. So lässt sich erkennen, ob ein System weiß, was es tun muss, statt nur wiedergeben zu können, was es gelesen hat.