Le ratio de bêtise est une mesure utilisée pour évaluer la proportion d'informations absurdes ou invalides dans les réponses données par les grands modèles linguistiques (LLM). Le concept a été proposé en 2024 par Timothy Gowers, lauréat de la médaille Fields et directeur de recherche à l'Université de Cambridge. Il a élaboré ce point de référence, le rapport entre le total des réponses données par le LLM et les réponses correctes, tout en essayant d'utiliser GPT-4o pour résoudre l'énigme de l'animal traversant la rivière. Soulignez les erreurs de GPT-4o sur les questions les plus simples, et Claude 3.5 n’est pas à l’abri. Ce phénomène soulève des questions quant à savoir si les grands modèles linguistiques sont réellement capables de raisonner et de planifier. Grâce à ce ratio, nous pouvons quantifier le degré de non-sens produit par le modèle, évaluant ainsi la performance du modèle et la direction de l'amélioration.