Samuel Lewis-Lim Xingwei Tan Zhixue Zhao Nikolaos Aletras

Résumé

Des travaux récents ont montré que la méthode Chain-of-Thought (CoT) permet souvent des améliorations limitées dans les problèmes de raisonnement souple, tels que le raisonnement analytique ou le raisonnement courant. De plus, CoT peut s’avérer peu fidèle au raisonnement réel d’un modèle. Nous étudions les dynamiques et la fidélité de CoT dans les tâches de raisonnement souple, sur des modèles ajustés par instruction, des modèles de raisonnement et des modèles de raisonnement distillé. Nos résultats révèlent des différences quant à la manière dont ces modèles s’appuient sur CoT, et montrent que l’impact de CoT et sa fidélité ne sont pas nécessairement corrélés.