Agent antwortet trotz Tool-Fehlern im Betrieb

Agentische KI-Systeme in Produktion können laut einem Fachbeitrag an stillen Fehlern leiden, die als erfolgreiche Läufe ausgehen. In dem geschilderten Beispiel fragt ein Agent Kundenrechnungen über eine interne Programmierschnittstelle ab. Nach zwei erfolgreichen Aufrufen erlischt ein Zugangsdatensatz, sodass jeder weitere Werkzeugaufruf mit einem HTTP-Fehler 401 endet. Statt abzubrechen, wiederholt der Agent die Aufrufe, verändert leicht seine Argumente und liefert abschließend eine selbstsichere Antwort für alle angefragten Kunden. Die fehlenden Datenquellen werden im Endergebnis nicht offengelegt; der Lauf erhält einen Erfolgsstatus und die Überwachungsansicht bleibt unauffällig. Der Beitrag ordnet dieses Muster in die breitere Erwartung ein, dass nach Einschätzung von Gartner bis Ende 2027 mehr als 40 Prozent der Projekte mit agentischer KI abgebrochen werden, vor allem wegen Kosten, unklarem Geschäftswert und schwachen Risikokontrollen. Solche Fehler fallen auf. Kritischer sei der beschriebene Fall, weil für das Sprachmodell die Fehlermeldung nur weiterer Kontexttext sei. Wenn die Anweisung lautet, eine Antwort zu geben, erzeugt das Modell eine Antwort, notfalls ohne belastbare Daten. Ein leistungsfähigeres Modell allein mache das Problem nicht kleiner, sondern könne plausiblere, aber unbegründete Antworten erzeugen. Als entscheidend wird die Umgebung des Modells beschrieben. Werkzeugfehler dürften nicht einheitlich wiederholt werden. Zeitüberschreitungen, Verbindungsabbrüche, Aufrufgrenzen oder Serverfehler wie 503 können eine Wiederholung rechtfertigen. Fehler wie 401, 403 oder 404 scheitern dagegen zuverlässig. Zustände, in denen eine Aktion möglicherweise bereits ausgeführt wurde, etwa eine Zahlung, sollten nicht automatisch wiederholt, sondern an Menschen übergeben werden. Diese Einordnung solle außerhalb des eigentlichen Modells in Code erfolgen, mit festen Wiederholungsobergrenzen, gestaffelten Wiederholungen mit zufälliger Verzögerungsstreuung und der Auswertung von HTTP-Headern, die ein Wiederholungsintervall vorschlagen. Bei Authentifizierungsfehlern sei ein sofortiger Abbruch sinnvoll. Zusätzlich solle die Laufzeitoberfläche prüfen, ob überhaupt Werkzeugergebnisse vorliegen. Statt roher Fehlermeldungen erhält das Modell kurze Anweisungen, die es anhalten, keine Daten zu erfinden. Am Ende wird eine Schutzprüfung ausgeführt, die mindestens einen erfolgreichen Werkzeugaufruf erwartet. Eine strengere Variante ordnet jeder Aufgabe zwingend benötigte Werkzeuge zu und verweigert die finale Antwort, wenn ein entscheidender Aufruf fehlgeschlagen ist. Dabei dürfen leere Ergebnislisten nicht als Fehler gewertet werden, etwa wenn eine Anfrage korrekt keine Treffer liefert. Relevante Beobachtungskennzahlen sind der Anteil von Läufen ohne irgendeinen erfolgreichen Werkzeugaufruf, die Häufigkeit bestimmter Fehlercodes in Kombination mit einzelnen Werkzeugen sowie die Zahl erzwungener Verweigerungen. Eine Häufung von 401-Fehlern kann auf abgelaufene Zugangsdaten hinweisen. Steigende Wiederholungszahlen können Frühwarnzeichen für schleichend instabile Abhängigkeiten sein. Diese Kennzahlen sollten gezielt protokolliert werden, damit stille Fehler sichtbar werden, bevor Nutzer irreführende Auskünfte erhalten. Die zentrale Empfehlung lautet, eine Komponente zu ergänzen, die das Scheitern von Werkzeugen erkennt, den Lauf abbricht und die Verweigerung protokolliert, statt allein auf einen intelligenteren Sprachmodellkern zu vertrauen.