GeneBench-Pro Public Package ist ein öffentlich zugänglicher Benchmark-Datensatz für die Genanalyse, der von OpenAI veröffentlicht wurde. Zugehörige Forschungsarbeiten umfassen... GeneBench-Pro: Bewertung mehrstufiger statistischer Schlussfolgerungen in Genomik, quantitativer Biologie und translationaler BiomedizinZiel ist es, eine reproduzierbare Forschungsumgebung zur Evaluierung von Fallstudien für künstliche Intelligenz in den Bereichen Genomik und Biomedizin bereitzustellen. Dieser Datensatz enthält zehn unabhängige Problemstellungen aus den Bereichen Genomik und Bioinformatik, darunter statistische Genetik, klinische Genomik, Populationsgenetik, Einzelzellanalyse, dreidimensionale Genomik und funktionelle Genomik. Die Daten umfassen Aufgabenbeschreibungen, öffentlich zugängliche Referenzlösungen, Gutachterverträge und offizielle technische Berichte.

Datensatzfelder:

• problems.csv: Indextabelle zur Problemübersicht
• manifest.json: Speichert den Dateipfad, die SHA-256-Prüfsumme und die Dateigröße für jedes Problem.
• checksums.sha256: Integritätsprüfungsinformationen für das gesamte Datenpaket.
• reference_grader.py: Ein Referenzbewertungsskript basierend auf Python 3.10+
• reference_definitions.md: Definitionen und semantische Beschreibungen von Bewertungsfeldern
• problems_dir: Jedes Problem hat sein eigenes unabhängiges Verzeichnis, das eval_config.json (Aufgabentext, Liste der Datendateien, Spezifikationen des Antwortformats, Referenzantworten und Bewertungsregeln), data_files/ (öffentliche Eingabedaten) und report_public.pdf (öffentlicher wissenschaftlicher Fallbericht) enthält.
• Antwort/Begründung: Basierend auf den Ground-Truth-Werten in eval_config.json und den Anforderungen von grader.config soll die Antwort im vorgegebenen Format zusammen mit einer kurzen Beschreibung der Lösungsmethode und des Denkprozesses ausgegeben werden.