ReAct : Synergie entre raisonnement et action dans les modèles de langage

Bien que les grands modèles linguistiques (LLM) aient démontré des capacités impressionnantes dans diverses tâches de compréhension du langage et de prise de décision interactive, leurs capacités en raisonnement (par exemple, le raisonnement en chaîne de pensée, chain-of-thought prompting) et en action (par exemple, la génération de plans d’action) ont principalement été étudiées de manière indépendante. Dans cet article, nous explorons l’utilisation des LLM pour générer de manière entrelacée des traces de raisonnement et des actions spécifiques à une tâche, permettant ainsi une synergie accrue entre les deux : les traces de raisonnement aident le modèle à induire, suivre et mettre à jour les plans d’action, ainsi qu’à gérer les exceptions, tandis que les actions lui permettent d’interagir avec des sources externes, telles que des bases de connaissances ou des environnements, afin de recueillir des informations supplémentaires. Nous appliquons notre approche, nommée ReAct, à une variété de tâches linguistiques et de prise de décision, et démontrons son efficacité par rapport aux états de l’art, ainsi qu’une meilleure interprétabilité humaine et fiabilité par rapport aux méthodes ne comprenant ni composant de raisonnement ni composant d’action. Concrètement, sur les tâches de réponse aux questions (HotpotQA) et de vérification de faits (Fever), ReAct surmonte les problèmes d’hallucination et de propagation d’erreurs fréquents dans le raisonnement en chaîne de pensée en interagissant avec une API simple de Wikipedia, tout en générant des trajectoires de résolution de tâches similaires à celles des humains, plus interprétables que celles des méthodes sans traces de raisonnement. Sur deux benchmarks de prise de décision interactive (ALFWorld et WebShop), ReAct dépasse les méthodes d’imitation et d’apprentissage par renforcement d’un taux de succès absolu de 34 % et 10 % respectivement, tout en étant guidé par seulement un ou deux exemples contextuels. Site du projet avec le code source : https://react-lm.github.io