Ratio De Merde

Le ratio de bêtise est une mesure utilisée pour évaluer la proportion d'informations absurdes ou invalides dans les réponses données par les grands modèles linguistiques (LLM). Le concept a été proposé en 2024 par Timothy Gowers, lauréat de la médaille Fields et directeur de recherche à l'Université de Cambridge. Il a élaboré ce point de référence, le rapport entre le total des réponses données par le LLM et les réponses correctes, tout en essayant d'utiliser GPT-4o pour résoudre l'énigme de l'animal traversant la rivière. Soulignez les erreurs de GPT-4o sur les questions les plus simples, et Claude 3.5 n’est pas à l’abri. Ce phénomène soulève des questions quant à savoir si les grands modèles linguistiques sont réellement capables de raisonner et de planifier. Grâce à ce ratio, nous pouvons quantifier le degré de non-sens produit par le modèle, évaluant ainsi la performance du modèle et la direction de l'amélioration.