Schrottverhältnis

Die Crapness Ratio ist eine Metrik, die verwendet wird, um den Anteil an Unsinn oder ungültigen Informationen in den Antworten großer Sprachmodelle (LLMs) zu bewerten. Das Konzept wurde 2024 vom Fields-Medaillen-Gewinner und Forschungsleiter der Universität Cambridge Timothy Gowers vorgeschlagen. Er hat diesen Maßstab ermittelt, das Verhältnis der Gesamtzahl der vom LLM gegebenen Antworten zu den richtigen Antworten, als er versuchte, mit GPT-4o das Rätsel zu lösen, bei dem das Tier den Fluss überquert. Weisen Sie auf die Fehler von GPT-4o bei den einfachsten Fragen hin, und Claude 3.5 ist nicht immun. Dieses Phänomen wirft die Frage auf, ob große Sprachmodelle wirklich zum Schlussfolgern und Planen fähig sind. Durch dieses Verhältnis können wir den Grad des vom Modell ausgegebenen Unsinns quantifizieren und so die Leistung des Modells und die Richtung der Verbesserung bewerten.