HyperAIHyperAI

Command Palette

Search for a command to run...

Sichere Prompt-Bereinigung entfernt redundante LLM-Kontexte

Der Anstieg der Kontextlänge bei lang laufenden LLM-Unterhaltungen führt regelmäßig zu ineffizientem Token-Overhead, verzögerter Inferenz und beeinträchtigter Reasoning-Performance. Um diesem Prompt-Bloat zu begegnen, wurde eine neue deterministische Prompt-Pruning-Schicht entwickelt, die redundante Zustände eliminiert, bevor sie das Modell erreicht. Das open-source Projekt verzichtet bewusst auf LLM- oder Embedding-Modelle und setzt auf ein reines Standardbibliothek-Framework, um volle Reproduzierbarkeit und Vorhersagbarkeit in Produktionsumgebungen zu gewährleisten. Die Architektur basiert auf einem drei-Schritte-Pipeline-Verfahren. Der erste Schritt eliminiert abgelaufene Kontexte, indem wiederholte Tool-Aufrufe unter demselben Schlüssel durch die neueste Version ersetzt werden. Der zweite Schritt entfernt doppelte Kontexte, indem naheliegende Duplikate, etwa durch wiederholte Retrieval-Abfragen, bereinigt werden. Der entscheidende dritte Schritt gewährleistet die Abhängigkeitswiederherstellung. Er stellt sicher, dass entfernte Nachrichten, auf die spätere Unterhaltungsschritte explizit verweisen, nicht unwiederbringlich gelöscht werden. Dieser Mechanismus löst ein zuvor in der Entwicklung auftretendes Testproblem: Ursprüngliche Benchmark-Synthesedaten generierten keine echten Abhängigkeitskonflikte, sodass die Sicherheitsfunktion unbeobachtet blieb. Durch die Anpassung des Datengenerators konnte gezeigt werden, dass das System auch unter realistischen Bedingungen kritische Fakten vollständig konserviert. Im Fokus der Entwicklung standen vier Kernprinzipien: Determinismus, Abhängigkeitssicherheit, Idempotenz und geringe Verarbeitungslast. Idempotenz garantiert, dass eine wiederholte Anwendung des Pruners auf bereits bereinigte Prompts keinen weiteren Token-Verlust oder strukturelle Drift verursacht. Dies ermöglicht eine nahtlose Integration in jede Turn-Logik autonomer Agenten ohne zusätzlichen Zustands-Tracking-Overhead. Die umfassende Benchmark-Serie validierte die Pipeline über drei verschiedene Workloads und fünf Konversationslängen auf unterschiedlicher Hardware. Bei reinen Chat-Szenarien sank der Token-Umfang um etwa zwei bis vier Prozent. RAG-Assistenten, die bei jeder Interaktion Dokumente abrufen, wiesen eine Reduktion von 27 bis 32 Prozent auf. Tool-lastige Agenten profitierten am stärksten mit bis zu 34 Prozent weniger Overhead. Auffällig war die konstante Sicherung aller als erforderlich markierten Fakten über alle 15 Testkonfigurationen hinweg. Die preprocessing-Zeit blieb selbst bei einer Konversation von 2.000 Turns und 131.000 Tokens unter 50 Millisekunden. Die Messungen wurden auf Linux- und Windows-Systemen reproduziert, wobei nur hardwarebedingte Zeitabweichungen auftraten. Trotz der technischen Stabilität weist die Pipeline klare Grenzen auf. Die Abhängigkeitsanalyse basiert auf exakten Identifikator-Matches statt auf semantischer Ähnlichkeit. Paraphrasierungen ohne explizite Tags werden nicht erkannt. Zudem stützen sich die Benchmarks auf synthetische, aber produktionsnahe Lastprofile statt auf echte Produktionslogs. Die Entwickler planen daher eine hybride Architektur, die die deterministische Basis um embedding-basierte Kompression ergänzt, sowie eine Validierung an realen Anwendungsdaten. Der Ansatz positioniert sich nicht als Ersatz für infrastrukturelle KV-Cache-Optimierungen, sondern als komplementäre Schicht auf Prompt-Ebene, die die Datenqualität vor der Modell-Inferenz signifikant verbessert und damit Kosten sowie Latenz direkt senkt.

Verwandte Links