Zielabstimmung in benutzerbasierten Simulatoren auf Basis von großen Sprachmodellen für conversationelle KI

Benutzersimulatoren sind für conversationelle KI von entscheidender Bedeutung, da sie eine skalierbare Entwicklung und Bewertung von Agenten durch simulierte Interaktionen ermöglichen. Obwohl aktuelle große Sprachmodelle (Large Language Models, LLMs) bereits fortgeschrittene Fähigkeiten im Bereich der Benutzersimulation aufweisen, zeigen wir, dass sie Schwierigkeiten haben, konsistent zielorientiertes Verhalten über mehrere Gesprächsrunden hinweg zu demonstrieren – eine kritische Einschränkung, die ihre Zuverlässigkeit für nachgeschaltete Anwendungen beeinträchtigt. Wir stellen UGST (User Goal State Tracking), einen neuartigen Rahmen vor, der die Entwicklung von Benutzerzielen im Verlauf von Gesprächen verfolgt. Auf Basis von UGST präsentieren wir eine dreistufige Methodologie zur Entwicklung von Benutzersimulatoren, die autonom die Zielentwicklung verfolgen und zur Generierung zielorientierter Antworten in der Lage sind. Zudem etablieren wir umfassende Bewertungsmetriken zur Messung der Zielgerichtetheit in Benutzersimulatoren und zeigen, dass unser Ansatz erhebliche Verbesserungen auf zwei Benchmarks (MultiWOZ 2.4 und τ-Bench) erzielt. Unsere Beiträge schließen eine zentrale Lücke im Bereich der conversationellen KI und etablieren UGST als essenziellen Rahmen für die Entwicklung zielgerichteter Benutzersimulatoren.