피노키오 피노키오 사실 지식 평가 데이터 세트

피노키오 데이터 세트는 청화대학교, 시카고 일리노이대학교, 케임브리지대학교의 연구자들이 공동으로 만들었습니다. 이 연구의 목적은 대규모 언어 모델(LLM)의 사실 지식 저장 및 추론 기능 성능을 종합적으로 평가하는 것입니다.

이 데이터 세트는 다양한 출처, 타임라인, 도메인, 지역, 언어를 포괄하는 20,000개의 다양한 사실 관련 질문을 다룹니다.이 데이터 세트에는 다중 사실 추론, 구조화된 지식과 구조화되지 않은 지식 처리, 미묘한 사실적 차이점 식별, 적대적 사례 저항에 대한 LLM의 능력을 테스트하기 위한 7가지 과제가 포함되어 있습니다. 피노키오는 연구자들에게 사실적 지식의 관점에서 LLM 개발을 진행하는 동시에 여러 수준에서 모델의 역량을 이해할 수 있는 강력한 도구를 제공합니다.