AmbiK : Jeu de données de tâches ambiguës dans un environnement de cuisine

Dans le cadre d'un agent incarné, les grands modèles de langage (LLMs) sont généralement utilisés pour la planification du comportement en réponse à des instructions en langage naturel fournies par l'utilisateur. Cependant, traiter des instructions ambiguës dans des environnements réels reste un défi pour les LLMs. Plusieurs méthodes de détection d'ambiguïté des tâches ont été proposées. Néanmoins, il est difficile de les comparer car elles sont testées sur différents jeux de données et il n'existe pas de benchmark universel.Pour cette raison, nous proposons AmbiK (Tâches Ambiguës dans un Environnement de Cuisine), un jeu de données entièrement textuel d'instructions ambiguës adressées à un robot dans un environnement de cuisine. AmbiK a été collecté avec l'aide de LLMs et a été validé par des humains. Il comprend 1000 paires de tâches ambiguës et leurs équivalents non ambiguës, classées par type d'ambiguïté (Préférences Humaines, Connaissances Communes, Sécurité), avec des descriptions de l'environnement, des questions d'éclaircissement et leurs réponses, les intentions de l'utilisateur et les plans de tâche, pour un total de 2000 tâches.Nous espérons que AmbiK permettra aux chercheurs d'effectuer une comparaison unifiée des méthodes de détection d'ambiguïté. AmbiK est disponible à l'adresse suivante : https://github.com/cog-model/AmbiK-dataset.