테이블벤치

LLM의 테이블형 질의응답 능력을 보다 잘 평가하기 위해, 베이항대학, 워털루대학, 복단대학, 베이징정보과학기술대학의 연구팀은 공동으로 TableBench 테이블형 질의응답 벤치마크를 출시했습니다. 관련 논문 결과는 "TableBench: 테이블 질의응답을 위한 포괄적이고 복잡한 벤치마크".

TableBench는 18개 도메인에서 886개 샘플을 포함하고 있는, 사람이 주석을 단 포괄적이고 복잡한 TableQA 벤치마크로, 사실 확인, 수치적 추론, 데이터 분석 및 시각화 작업을 용이하게 하도록 설계되었습니다. 또한, 이 팀은 다양한 추론 방법으로 LLM을 안내하는 것을 목표로 하는 TableInstruct 대규모 교육 코퍼스를 오픈 소스로 공개했습니다.