ほとんどの工学的な作業とは異なり、科学研究はより反復的で、オープンで、不確実性が高い。その核心的な課題は、分析プロセスの実行そのものにあるのではなく、科学的直感や「研究の好み」に基づく一連の判断にある。例えば、データがどのような疑問を裏付けることができるか、どのデータを含めるべきか、どの推定器やモデルを選択すべきか、診断結果が当初の仮説を覆すかどうか、そしてどの程度の証拠の強さで結論を導き出せるか、といったことである。

GeneBenchは、このような背景のもとに提案された。GeneBenchは、単一のアルゴリズムの能力を評価するのではなく、モデルが実際の科学分析プロセスにおいて完全な「推論ループ」を完了できるかどうかを評価しようとするものである。これには、データ理解、品質管理、方法選択、統計モデリング、診断修正、最終決定出力といった機能が含まれており、これらは現代のライフサイエンスにおいて特に重要な機能である。

このことを踏まえて、OpenAIの研究チームは最近、GeneBenchのアップデート版であるGeneBench-Proをリリースした。GeneBench-Proは、ゲノミクスに限らず、分子生物学、定量的生物学、薬理ゲノミクス、がん生物学、微生物ゲノミクス、臨床応用など、多段階の統計的推論を必要とするシナリオまで、より幅広い産業および学術分野を網羅しています。GeneBench-Proは、GeneBenchと比較して、29の質問を追加し、3つの質問を削除し、残りの100の重複する質問のうち54を大幅に再設計しています。

129問のうち、82問は外部の専門家によってレビューされ、そのフィードバックに基づいてヒントやデータが修正されたほか、ターゲットが特定できなかった問題が再構築されました。129問全体の評価では、GPT-5.6 Solが最高の推論強度で28.71 TP3Tの合格率を達成し、GPT-5.6 Sol Proは別途報告されたGPT Pro実行で31.51 TP3Tを達成しました。GPT-5.5は12.01 TP3T、GPT-5.4は8.91 TP3Tを達成し、最も優れた非GPTベースラインモデルであるClaude Opus 4.8は16.01 TP3Tを達成しました。

関連する研究成果は、「GeneBench-Pro：ゲノミクス、定量的生物学、およびトランスレーショナルバイオメディシンにおける多段階統計的推論の評価」と題され、プレプリントとしてbioRxivに掲載されている。

研究のハイライト:

* GeneBench-Proは、以前リリースされたGeneBenchのアップデート版であり、既存の問題の難易度を大幅に上げたバージョンに加え、新たに追加された分野からの問題セットが導入されています。

* GeneBench-Proはもはやゲノミクスに限定されず、分子生物学や定量的生物学、薬理ゲノミクス、がん生物学、微生物ゲノミクス、臨床応用など、多段階の統計的推論を必要とするシナリオにも適用範囲を拡大しています。

* GeneBench-Proでは、外部の科学的レビューのステップを導入しています。このプロセスでは、各質問に関する完全な設計、関連文書、および分析仕様が、外部の専門家に提出され、その信憑性と科学的根拠が検証されます。

用紙のアドレス:
https://hyper.ai/papers/GeneBench-Pro
関連するデータセットはオンラインで入手可能です。
https://hyper.ai/datasets/53157

GeneBench-Pro：10の主要分野を網羅した129問の質問が含まれています。

GeneBench-Proは、10の主要領域と21のサブ領域を網羅する129の質問から構成されています。これは、エージェントが最小限のガイダンスで、潜在的に欠陥のあるデータセットから必要な定量的分析を特定して実行し、それによって目標推定値（推定対象）を推定できるかどうかを測定するために使用されます。下の図は、現在の評価スイートのドメインカバレッジを示しています。

GeneBench-Proの各問題は、独立した科学分析タスクとしてパッケージ化されています。エージェントには、最小限の実行可能なプロンプト、段階的に分割されたデータファイル、および標準的な科学計算用Pythonスタックを含む、隔離された作業環境が提供されます。プロンプトは科学的な質問/タスクと目標推定値のみを提供し、実行する分析プロセスを明示的に指定しません。これらのデータファイルは、クリーンアップされたおもちゃのデータセットではなく、実際の分析者が実験システムまたは臨床システムから取得した生データを可能な限りシミュレートするように設計されています。

各問題には相互依存する一連の決定ノードが含まれているため、どの段階で誤った選択をしても、それが逆方向に伝播し、後続の分析にエラーを引き起こし、最終的には正しい目標結果を得ることができなくなります。

このエージェントは、段階的に分割されたデータファイルや、numpy、pandas、scipy、scikit-learn、statsmodels、lifelines、matplotlib、seabornなどの一般的な科学計算ライブラリにアクセスできる、現実的なサンドボックス環境で動作します。また、PLINK 2.0、pysnptools、bed-reader、bedtools、pysamなどの標準的なゲノムバイオインフォマティクスツールも使用できます。

設計の中核目標：エージェントは、最小限の実行可能なヒントと明確な目標推定値を取得する。

自由形式の科学的分析を正確にベンチマークすることが難しい理由は、現実世界のデータでは、多くの場合、複数の妥当な分析オプションが存在するためです。例えば、品質管理（QC）の閾値、モデルパラメータの設定、報告基準はアナリストによって異なる場合がありますが、これらの違いは、正しいアプローチが一つだけであることを意味するものではありません。エージェントが妥当ではあるものの異なるカットオフ値や慣例を選択したためにベンチマークの結果が異なった場合、この違いは科学的推論の質ではなく、ベンチマーク設計自体の恣意性を反映しているに過ぎない可能性があります。

「失敗」が自然劣化ではなく科学的誤りであることを確実にするために、研究者たちはGeneBench-Proにおいて構成的なシミュレーション問題を採用した。つまり、完全な因果構造が既知であり、データ生成プロセスが明示的にシミュレートされるというものである。

研究者たちは、連鎖的な構造を「決定点の数」を用いて定量化する。決定点とは、分析プロセスにおける重要な推論分岐点であり、そこでは合理的ではあるものの誤った選択が、その後の結果に質的な変化をもたらす可能性がある。

実際には、各問題は現実世界の分析モデルと目標推定値から構築されます。これらの現実世界の分析モデルは、文献や分野専門家の経験に基づいて作成され、一般的で影響力の大きい科学的問題やワークフローを反映することを目的としています。また、教科書や論文に掲載されている標準的な事例をそのまま再現することは意図的に避け、モデルが暗記によって問題を解決することを防ぎます。

次に、シミュレーションによってデータが生成され、段階的に生成されたデータから正解が復元されます。続いて、正解を特定するために必要な最小限の情報のみを含む、最小限実行可能なヒントが作成されます。

問題の最初の草案が完成したら、大規模な検証を実施する。推論のさまざまな段階で「もっともらしく見えるが間違っている」経路については、アブレーション実験を用いて検証し、その結果が正解と十分に区別できるかどうかを確認する。

さらに、方法論の合理性、目的の明確性、および科学的妥当性を評価するために、独立した科学的レビューが実施される予定です。

以下の表は、これらの設計要件から導き出された主な基本制約をまとめたものです。

質問例：DRX1遺伝子変異保因者スクリーニングにおける残存リスク

下の図は、常染色体劣性遺伝疾患の保因者スクリーニングシナリオをシミュレートしたGeneBench-Proの問題を示しています。この合成スクリーニング設定では、DRX1が疾患原因遺伝子であり、両親がともに報告対象となるDRX1アレルを保有している場合にのみ、子孫に生殖リスクが生じます。

エージェントには、キャリアスクリーニングの生データが提供され、「スクリーニング結果が陰性」となった後の残りのキャリアリスクを推定し、この残存リスクを潜在的な生殖パートナー集団におけるキャリア頻度と組み合わせる必要がある。

この問題の難しさは、元の搬送速度から直接単純に答えを推定できない点にある。正しい分析を行うには、複数の推論ステップを順次実行する必要がある。

·  まず、報告対象となるDRX1キャリアカテゴリーを特定し、コピー数変異アーティファクトを区別する。

·  次に、フェーズドモデルの創始者マーカーが処理され、それが単一のハプロタイプとみなされるべきかどうかが決定されます。

·  次に、さまざまな共変量に基づいて、検出の感度と偽陽性率を推定した。

·  次に、各カテゴリーにおける保因者検出されない確率に基づいて、スクリーニングが陰性であった場合の残存保因者リスクを計算します。

·  最後に、パートナーの感染頻度は、検出された一部のパートナーに限定するのではなく、パートナーの全リストに基づいて標準化する必要がある。

この例では、 GeneBench-Proのコアとなる設計目標は、エージェントが最小限の実行可能なヒントと明確な目標推定値を取得することである。しかし、最終的な成功は、単に事前に設定されたプロセスを実行するのではなく、データから完全な多段階定量分析経路を復元できるかどうかにかかっている。

結果：能力は大幅に向上したが、「推論ループ」はまだ完全には確立されていない。

研究者らは、GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Luna/Terra/Sol、およびそれらに対応するGPT Proバリアント、さらにClaude、Gemini、Grok、GLM、Kimi、DeepSeek、MiMo、Tencent、MiniMax、Qwenの非GPTベースラインモデルを含む60のモデル構成を網羅した、全129問の質問でGeneBench-Proを評価しました。下の図は、質問ごとに計算された加重なしの合格率をまとめたものです。

全体、モデルの全体的な合格率は依然として低い。

·  各GPTメインラインモデルの報告されている最高の推論強度では、重み付けなしの平均合格率は、GPT-5.2 (xhigh) の4.9%から、GPT-5.4 (xhigh) の8.9%、GPT-5.5 (xhigh) の12.0%、GPT-5.6 Luna (max) の16.5%、GPT-5.6 Terra (max) の23.3%、GPT-5.6 Sol (max) の28.7%に増加しました。

·  別途報告されたGPT Proの結果は以下のとおりです。GPT-5.2 Pro 8.5%、GPT-5.4 Pro 16.3%、GPT-5.5 Pro 20.5%、GPT-5.6 Luna Pro 23.6%、GPT-5.6 Terra Pro 28.5%、GPT-5.6 Sol Pro 31.5%。

·  非GPTモデルの結果は、約0.6%から16.0%の範囲であり、Claude Opus 4.8が最も強力な非GPTベースラインモデルである。

·  GPT シリーズでは、推論強度の増加が大きな影響を与えています。GPT-5.6 Sol は、none の 3.7% から low の 14.4%、medium の 22.5%、high の 24.4%、xhigh の 26.8%、max の 28.7% に増加しました。

同時に、重大な未解決問題が依然として残っている。最良のGPTメインラインモデルでは、「合格率0.%の問題」の割合は、GPT-5.2の77.5%からGPT-5.4の67.4%、GPT-5.5の64.3%、GPT-5.6 Solの45.7%に減少しました。一方、「合格率50%以上の問題」の割合は、1.6%から4.7%、8.5%、30.2%に増加しました。したがって、最も強力なメインラインモデルでも、ベースラインは依然として主に高難易度の問題で構成されていますが、より強力なモデルは、より多くの問題を「完全な失敗」状態から部分的な成功または安定した成功へと導くことができます。

結論

GeneBench-Proの核心的な貢献は、新たな生物学的ベンチマークの構築だけでなく、「科学的エージェントの能力」の評価方法を再定義しようとする試みにもあります。実験結果によると、現在の最先端モデルは、データ異常の特定、統計的シグナルの理解、標準的な分析手順の実行など、ある程度の「局所的な科学的能力」を備えています。しかし、この能力はエンドツーエンドの科学的分析にはまだ安定的に拡張されておらず、「問題の特定」と「行動の実施」の間には大きなギャップが残っています。

応用面から見ると、この画期的な技術は大きな潜在的価値を持つ。現代の生命科学において、遺伝子データから標的スクリーニング、統計的シグナルから臨床応用決定に至るまでのプロセスは、専門家チームの協働に大きく依存しており、コストも高い。本論文では、GeneBench-Proの問題は人間の介入なしでは通常10時間から40時間かかることを指摘しており、部分的な自動化であっても、産業研究において大きな経済的価値を生み出す可能性があることを意味する。

しかし、研究者たちは、現在のモデルでは推論プロセス全体を一貫して完了させることができないため、このプロセスを確実に代替することはできないと強調している。今後の改善点としては、より強力な計画機能、自己修正メカニズム、および不確実性モデリング機能などが挙げられる。

参考文献:

https://www.biorxiv.org/content/10.64898/2026.06.29.735386v2