GeneBench-Pro Public Package est un jeu de données de référence pour l'analyse génétique, accessible au public et publié par OpenAI. Parmi les articles de recherche associés, on peut citer… GeneBench-Pro : Évaluation du raisonnement statistique multi-étapes en génomique, biologie quantitative et biomédecine translationnelleIl vise à fournir un environnement d'évaluation reproductible des études de cas de recherche pour les agents d'intelligence artificielle dans les domaines de la génomique et de la biomédecine. Cet ensemble de données contient 10 cas pratiques indépendants dans les domaines de la génomique et de la bioinformatique, couvrant des domaines tels que la génétique statistique, la génomique clinique, la génétique des populations, l'analyse unicellulaire, la génomique tridimensionnelle et la génomique fonctionnelle. Les données comprennent les descriptions des tâches, les réponses de référence publiques, les contrats des correcteurs et les rapports techniques officiels.

Champs de l'ensemble de données :

• problems.csv : Tableau récapitulatif des problèmes
• manifest.json : Enregistre le chemin d’accès au fichier, la somme de contrôle SHA-256 et la taille du fichier pour chaque problème.
• checksums.sha256 : Informations de vérification d'intégrité pour l'ensemble du paquet de données.
• reference_grader.py : Un script de notation de références basé sur Python 3.10+
• reference_definitions.md : Définitions et descriptions sémantiques des champs d’évaluation
• problems_dir : Chaque problème possède son propre répertoire indépendant, contenant eval_config.json (texte de la tâche, liste des fichiers de données, spécifications du format de réponse, réponses de référence et règles de notation), data_files/ (données d'entrée publiques) et report_public.pdf (rapport de cas scientifique public).
• Réponse/justification : En vous basant sur les données de référence (ground_truth) dans eval_config.json et sur les exigences de grader.config, affichez la réponse au format spécifié, accompagnée d’une brève description de la méthode de résolution et du raisonnement.