DeepSeek-R1 Thoughtology : Réfléchissons au raisonnement des LLM

Les grands modèles de raisonnement, tels que DeepSeek-R1, marquent un changement fondamental dans la manière dont les modèles linguistiques à grande échelle (LLM) abordent les problèmes complexes. Contrairement à une production directe de réponse à une entrée donnée, DeepSeek-R1 génère des chaînes de raisonnement détaillées et multi-étapes, semblant « réfléchir » à un problème avant de fournir une réponse. Ce processus de raisonnement est entièrement accessible au public, ouvrant ainsi des perspectives infinies pour l’étude du comportement de raisonnement du modèle et donnant naissance à un nouveau domaine : la Thoughtologie. À partir d’une taxonomie des blocs fondamentaux du raisonnement de DeepSeek-R1, nos analyses explorent l’impact et la maîtrise de la longueur des pensées, la gestion de contextes longs ou ambigus, les préoccupations culturelles et de sécurité, ainsi que la position de DeepSeek-R1 par rapport à des phénomènes cognitifs tels que le traitement linguistique humain ou la modélisation du monde. Nos résultats dessinent un tableau nuancé. Notamment, nous montrons que DeepSeek-R1 possède un « point optimal » de raisonnement, au-delà duquel un temps de calcul supplémentaire peut nuire à ses performances. Par ailleurs, nous constatons une tendance du modèle à s’attarder de manière persistante sur des formulations antérieures du problème, entravant ainsi toute exploration ultérieure. Enfin, nous relevons des vulnérabilités de sécurité importantes chez DeepSeek-R1 par rapport à ses homologues non raisonnants, qui peuvent également compromettre la sécurité des LLM alignés sur des principes éthiques.