GeneBench-Pro 공개 패키지는 OpenAI에서 공개한 유전자 분석용 벤치마크 데이터 세트입니다. 관련 연구 논문은 다음과 같습니다... GeneBench-Pro: 유전체학, 양적 생물학 및 중개 생물의학 분야에서 다단계 통계적 추론 평가이 프로젝트는 유전체학 및 생물의학 분야의 인공지능 에이전트를 위한 재현 가능한 연구 사례 연구 평가 환경을 제공하는 것을 목표로 합니다. 이 데이터 세트는 통계 유전학, 임상 유전체학, 집단 유전학, 단일 세포 분석, 3차원 유전체학, 기능 유전체학 등 유전체학 및 생물정보학 분야의 10개 독립적인 문제 사례를 포함합니다. 데이터에는 과제 설명, 공개적으로 이용 가능한 정답, 채점자 계약서, 공식 기술 보고서가 포함되어 있습니다.

데이터셋 필드:

• problems.csv: 문제 요약 색인 테이블
• manifest.json: 각 이슈에 대한 파일 경로, SHA-256 체크섬 및 파일 크기를 기록합니다.
• checksums.sha256: 전체 데이터 패킷에 대한 무결성 검증 정보입니다.
• reference_grader.py: Python 3.10 이상 기반의 참조 채점 스크립트
• reference_definitions.md: 평가 항목에 대한 정의 및 의미론적 설명
• problems_dir: 각 문제는 eval_config.json(과제 설명, 데이터 파일 목록, 답변 형식 지정, 참조 답변 및 채점 규칙), data_files/(공개 입력 데이터) 및 report_public.pdf(공개 과학 사례 보고서)를 포함하는 자체 독립 디렉터리를 가지고 있습니다.
• 답변/추론: eval_config.json의 ground_truth 값과 grader.config 파일의 요구 사항을 바탕으로, 지정된 형식으로 답변을 출력하고, 풀이 방법 및 사고 과정을 간략하게 설명하십시오.