Sélection automatique de modèles avec des grands modèles linguistiques pour le raisonnement

Le Chain-of-Thought (CoT) et les modèles linguistiques aidés par programme (PAL) représentent deux approches distinctes du raisonnement, chacune présentant ses propres avantages. Le CoT utilise un langage naturel, offrant flexibilité et interprétabilité, tandis que le PAL s'appuie sur un langage de programmation, permettant un raisonnement plus structuré et rigoureux. Nous introduisons une méthode de sélection de modèle visant à combiner les forces des deux approches en utilisant un grand modèle linguistique (LLM) pour sélectionner dynamiquement entre elles. Notre analyse théorique souligne la faisabilité de cette méthode, confirmée par des résultats empiriques. Notre approche montre des améliorations significatives de performance sur huit jeux de données de raisonnement, avec Codex, ChatGPT et GPT-4. En outre, notre méthode s'avère complémentaire à la self-consistency : lorsqu'elle est intégrée, elle améliore encore davantage les performances tout en réduisant de manière significative les coûts computationnels. Enfin, nous obtenons de nouveaux résultats état-de-l'art sur GSM8K et SVAMP, avec des précisions respectives de 96,8 % et 93,7 %. Notre code, nos données et nos prompts sont disponibles à l'adresse suivante : https://github.com/XuZhao0/Model-Selection-Reasoning