RepLiQA는 벤치마킹을 위한 가능한 질문 답변 데이터 세트입니다.

RepLiQA는 컨텍스트-질문-답변 삼중 구조로 구성된 평가 데이터 세트로, 컨텍스트는 사실이 아니지만 현실에 존재하지 않는 가상 개체(사람이나 장소 등)에 대한 자연스럽게 보이는 문서입니다. RepLiQA는 제공된 문서에서 맥락적 정보를 찾아 사용하는 대규모 언어 모델(LLM)의 능력을 테스트하기 위해 인공적으로 만들어졌습니다. 기존의 질의응답 데이터 세트와는 달리 RepLiQA의 사실 기반 특성은 LLM이 훈련 데이터의 사실을 기억하는 능력에 의해 모델의 성능이 저하되지 않도록 보장하며, 제공된 맥락을 활용하는 모델의 능력을 더욱 확신을 가지고 테스트할 수 있습니다.

RepLiQA 문서는 회사 정책, 사이버 보안 뉴스, 지역 기술 및 혁신, 지역 환경 문제, 지역 민속 및 신화, 지역 정치 및 경영, 뉴스 기사, 지역 경제 및 시장, 지역 교육 시스템, 지역 예술 및 문화, 지역 뉴스, 중소기업, 이벤트 보고서, 지역 음식 및 요리법, 커뮤니티 스토리, 지역 스포츠 및 활동, 지역 건강 및 웰빙을 포함하여 17개 주제 또는 문서 범주를 다룹니다. 사실이 아닌 문서는 이러한 주제에 주석이 달려 있으며, 어디에도 문서화되지 않은 허구적/가상적 실체를 다룹니다. 각 문서에는 5개의 질문-답변 쌍이 들어 있습니다.