SimpleQA는 OpenAI에서 2024년에 공개한 대규모 언어 모델의 사실적 정확도 평가 데이터셋입니다. 관련 논문으로는 다음과 같은 것들이 있습니다... 대규모 언어 모델에서 짧은 형식의 사실성 측정목표는 복잡한 추론이나 주관적인 판단이 평가 결과에 영향을 미치지 않도록 하면서, 간결하고 명확하며 검증 가능한 사실적 질문에 대한 모델의 정확성을 평가하는 것입니다. 데이터셋이 업데이트되어 이제 과학 기술, 예술, 엔터테인먼트 등 다양한 주제를 다루는 4,326개의 샘플 문제가 포함되어 있습니다. 이 중 4,321개는 공식 테스트 세트이고, 5개는 소량 평가에 사용됩니다. 각 문제는 고유하고 논쟁의 여지가 없는 표준 답안에 대응하며, 정확성과 검증 가능성을 보장하기 위해 신뢰할 수 있는 자료를 기반으로 두 명의 독립적인 전문가가 검증했습니다. 데이터셋의 각 샘플에는 문제의 주제, 답안 유형(예: 인물, 숫자 또는 장소), 그리고 정확한 평가 및 결과 분석을 용이하게 하는 관련 링크가 레이블로 지정되어 있습니다. 기존의 사실 기반 벤치마크 데이터셋과 비교했을 때, SimpleQA는 훨씬 더 까다로운 데이터셋이며, 현재 최첨단 모델조차도 이 데이터셋에서 정확도에 분명한 한계를 보입니다. 따라서 SimpleQA는 모델의 사실적 신뢰성을 평가하는 고강도 테스트 도구로 활용될 수 있습니다.