Validierte LLM-Kaskade senkt RAG-Generierungskosten
Neue Erkenntnisse zur Optimierung von Retrieval-Augmented-Generation-Systemen demonstrieren, wie sich durch gezielte Modellkaskaden erhebliche Kosten senken lassen, ohne die Ergebnisqualität zu gefährden. Das zugrunde liegende Konzept ersetzt die bisherige Praxis, jedes Extraktionsfeld an teure Hosted-Flaggschiffmodelle zu senden, durch einen kostenoptimierten Validierungszyklus. Dabei wird stets mit einem günstigen lokalen Modell begonnen, dessen Ausgabe automatisch geprüft wird. Erst bei Validierungsfehlern erfolgt eine Eskalation zum leistungsfähigeren Cloud-Modell. Die Architektur basiert auf drei Kernprinzipien. Zunächst wird das Startmodell durch klare Kriterien bestimmt: Datenkonfidentialität, Zuverlässigkeit bei typisierten Outputs und die Komplexität der erforderlichen Transformationen. Anstatt blind nach Parameteranzahl aufzusteigen, steuert ein Dispatcher die Modellwahl und legt fest, ob Validierung oder Aufgabenteilung notwendig sind. Der eigentliche Kreislauf überprüft jede generierte Antwort auf strukturelle Korrektheit und Quellenbezug. Trifft dies nicht zu, eskaliert das System gebunden an eine maximale Durchlaufzahl zum nächsten Modellstufen. Bei komplexen mathematischen oder Formatierungsoperationen wird zudem die Aufgabe aufgeteilt: Das Modell identifiziert nur die relevanten Textstellen, während deterministischer Code die eigentliche Umrechnung übernimmt. Diese Trennung schützt sensible Daten, da keine vollständigen Dokumente die lokale Umgebung verlassen. Empirische Benchmarks mehrerer hundert Felder über Dutzende von Dokumenten belegen die Wirksamkeit des Ansatzes und widerlegen gängige Annahmen. Die Größe eines lokalen Modells korreliert nicht linear mit der Genauigkeit; Modelle mit vier und sieben Milliarden Parametern performten besser als einige zwölf- und vierteen Milliarden Parameter schwere Varianten. Reine Kleinstmodelle unter zwei Milliarden Parametern scheiterten häufig vollständig und generierten leere Strukturdaten. Die entscheidende Qualitätssteigerung erbrachte jedoch nicht der Austausch der Hardware, sondern die Anreicherung der Prompts mit domänenspezifischen Glossaren. Während ein kleines lokales Modell ohne kontextualisierte Begriffsdefinitionen nur rund ein Drittel der Felder korrekt extrahierte, stieg die Trefferquote durch eine klare fachliche Einbettung deutlich an. Erst die Kombination aus fachgerechtem Prompt-Design und dem Eskalationszyklus ermöglichte verlässliche Ergebnisse. Das System integriert nahtlos in bestehende Generations-Architekturen, indem es die fragebasierte Dispatchlogik mit der dokumentseitigen Validierung verknüpft. Während der frühe Dispatcher eine initiale Modellstufe vorschlägt, liefert die nachgelagerte Prüfung den entscheidenden Feedbackmechanismus zur Eskalation. Unternehmen profitieren von dieser Struktur erheblich: Die meisten Abfragefelder werden vom kostengünstigen lokalen Modell abgedeckt, was die Betriebskosten massiv reduziert. Latenzzeiten können dabei lokal tendenziell höher ausfallen als bei Cloud-Diensten, doch die Garantie für strukturell korrekte, validierte Outputs überwiegt diesen Nachteil im Unternehmensumfeld. Der Ansatz etabliert Modellselektion als dynamischen Prozessschritt, bei dem Kostenkontrolle und Ergebniszuverlässigkeit durch automatisierte Prüfschleifen und gezielte Aufgabentrennung in Einklang gebracht werden.
