Le raisonnement à partir du langage naturel constitue un objectif depuis longtemps poursuivi par la communauté de recherche. Toutefois, des études ont montré que les modèles linguistiques existants se révèlent insuffisants en matière de raisonnement. Pour remédier à ce problème, nous proposons POET, un nouveau paradigme d'entraînement préalable axé sur le raisonnement. En entraînant les modèles linguistiques à l’aide de programmes et de leurs résultats d’exécution, POET permet aux modèles linguistiques d’acquérir, de manière data-driven, les connaissances de raisonnement détenues par les exécutants de programmes. POET est conceptuellement simple et peut être mis en œuvre à l’aide de divers types d’exécutants de programmes. Dans cet article, nous présentons deux instances simples — POET-Math et POET-Logic — ainsi qu’une instance plus complexe, POET-SQL. Les résultats expérimentaux sur six benchmarks démontrent que POET peut considérablement améliorer les performances des modèles en raisonnement sur le langage naturel, notamment en raisonnement numérique, raisonnement logique et raisonnement à plusieurs sauts. POET ouvre une nouvelle voie pour l’entraînement préalable axé sur l’amélioration du raisonnement, et nous espérons que notre analyse contribuera à orienter les recherches futures sur le raisonnement inspiré des exécutants de programmes.