Command Palette
Search for a command to run...
GeneBench-Pro 公開パッケージ 遺伝子症例ベンチマークデータセット
GeneBench-Pro Public Package 是由 OpenAI 发布的公开基因分析基准评测数据集,相关论文成果为 GeneBench-Pro: Evaluating Multistage Statistical Reasoning in Genomics, Quantitative Biology, and Translational Biomedicine,旨在为人工智能代理(AI Agents)在基因与生物医学领域提供可复现的科研案例研究评估环境。 该数据集包含 10 个面向基因组学与生物信息学领域的独立问题案例,覆盖统计遗传学、临床基因组学、群体遗传学、单细胞分析、三维基因组学及功能基因组学等领域。数据包含任务描述、公开的参考答案(ground truth)、评分规则(grader contract)及官方技术报告。
数据集字段:
- problems.csv:问题摘要索引表
- manifest.json:记录每个问题的文件路径、 SHA-256 校验和及文件大小
- checksums.sha256:整个数据包的完整性校验信息
- reference_grader.py:基于 Python 3.10+ 的参考评分脚本
- reference_definitions.md:评分字段的定义与语义说明
- problems_dir:每个问题独立目录,内含 eval_config.json(任务文本、数据文件列表、答案格式规范、参考答案及评分规则)、 data_files/(公开输入数据)及 report_public.pdf(公开科学案例报告)
- answer/reasoning:根据 eval_config.json 中的 ground_truth 与 grader.config 要求,输出指定格式的答案以及简要的解题方法和思路描述