Crapness Ratio는 대규모 언어 모델(LLM)이 제공한 답변에서 터무니없거나 유효하지 않은 정보의 비율을 평가하는 데 사용되는 지표입니다. 이 개념은 2024년에 필즈 메달 수상자이자 케임브리지 대학교의 연구 책임자인 티모시 가워스가 제안했습니다. 그는 GPT-4o를 사용하여 강을 건너는 동물 퍼즐을 풀면서 LLM이 준 총 답변과 정답의 비율을 나타내는 벤치마크를 생각해냈습니다. 가장 간단한 질문에 대한 GPT-4o의 실수를 지적하면, Claude 3.5도 예외는 아닙니다. 이러한 현상은 대규모 언어 모델이 실제로 추론하고 계획을 세울 수 있는지에 대한 의문을 제기합니다. 이 비율을 통해 우리는 모델의 무의미한 출력 정도를 정량화하여 모델의 성능과 개선 방향을 평가할 수 있습니다.