Deepro Choudhury Sinead Williamson Adam Goliński Ning Miao Freddie Bickford Smith et al

Résumé

Nous proposons une approche générale visant à améliorer la capacité des grands modèles linguistiques (LLM) à recueillir intelligemment et de manière adaptative des informations auprès d’un utilisateur ou d’une source externe, en s’appuyant sur le cadre du design expérimental bayésien séquentiel (BED). Cette approche permet aux LLM de s’affirmer comme des agents conversationnels multi-tours efficaces, capables d’interagir de manière dynamique avec des environnements externes. Notre méthode, que nous désignons sous le nom de BED-LLM (Bayesian Experimental Design with Large Language Models), repose sur une itération successive de choix de questions ou de requêtes maximisant le gain d’information attendu (EIG) concernant la tâche d’intérêt, compte tenu des réponses précédemment recueillies. Nous montrons comment ce gain d’information peut être formulé de manière rigoureuse à l’aide d’un modèle probabiliste dérivé de la distribution de croyances du LLM, tout en apportant des éclairages détaillés sur les décisions clés liées à sa construction. Parmi les éléments essentiels au succès de BED-LLM figurent plusieurs innovations spécifiques, notamment un estimateur soigneusement conçu du gain d’information attendu, qui ne s’appuie pas uniquement sur des mises à jour contextuelles pour conditionner les réponses antérieures, ainsi qu’une stratégie ciblée pour proposer des requêtes candidates. Nous constatons que BED-LLM permet d’obtenir des gains significatifs en performance sur une large gamme d’épreuves basées sur le jeu des vingt questions, ainsi que dans le cadre de l’inférence active des préférences utilisateur, par rapport à une simple stimulation directe du LLM ou à d’autres stratégies de conception adaptative.