MohammadHossein Bateni Vincent Cohen-Addad Yuzhou Gu Silvio Lattanzi Simon Meierhans Christopher Mohri

Résumé
Les modèles linguistiques massifs (LLM) se sont avérés extrêmement efficaces pour résoudre des tâches de raisonnement complexes. De manière surprenante, leurs capacités peuvent souvent être améliorées en itérant sur des solutions précédemment générées. Dans ce contexte, un plan de raisonnement visant à générer et à combiner un ensemble de solutions peut être considéré comme un algorithme de raisonnement utilisant une oracule probabiliste.Nous introduisons un cadre théorique pour analyser de tels algorithmes de raisonnement. Ce cadre formalise les principes sous-jacents aux techniques courantes d'amélioration itérative et d'agrégation des réponses, offrant ainsi une base solide pour concevoir une nouvelle génération de méthodes de raisonnement plus puissantes. Contrairement aux approches visant à comprendre les modèles en se fondant sur des détails architecturaux, notre modèle s'appuie sur des preuves expérimentales. En conséquence, il propose une perspective générale susceptible de s'appliquer à un large éventail d'oracules de raisonnement actuels et futurs.
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.