Alignement des objectifs dans les simulateurs d'utilisateurs basés sur les LLM pour l'intelligence artificielle conversationnelle

Les simulateurs d’utilisateurs sont essentiels pour l’intelligence artificielle conversationnelle, permettant le développement et l’évaluation évolutifs des agents grâce à des interactions simulées. Bien que les grands modèles linguistiques (LLM) actuels aient considérablement amélioré leurs capacités de simulation d’utilisateurs, nous montrons qu’ils peinent à maintenir de manière cohérente un comportement orienté vers un objectif au cours de conversations à plusieurs tours — une limitation critique qui compromise leur fiabilité dans les applications ultérieures. Nous proposons User Goal State Tracking (UGST), un cadre novateur permettant de suivre l’évolution de l’objectif de l’utilisateur tout au long d’une conversation. Grâce à UGST, nous présentons une méthodologie en trois étapes pour développer des simulateurs d’utilisateurs capables de suivre automatiquement l’évolution des objectifs et de raisonner afin de générer des réponses alignées sur ces objectifs. En outre, nous établissons des métriques d’évaluation complètes pour mesurer l’alignement objectif dans les simulateurs d’utilisateurs, et démontrons que notre approche permet des améliorations substantielles sur deux benchmarks (MultiWOZ 2.4 et τ-Bench). Nos contributions combler une lacune cruciale dans le domaine de l’intelligence artificielle conversationnelle et établissent UGST comme un cadre fondamental pour le développement de simulateurs d’utilisateurs alignés sur les objectifs.