近年、大規模言語モデルやインテリジェントエージェント技術は急速に進化し、科学研究におけるAIの関与範囲は絶えず拡大している。文献レビューやコード作成からデータ分析に至るまで、ますます多くの標準化された科学研究プロセスがAIの支援を受けて完了できるようになり、一部のインテリジェントエージェントシステムは、特定の科学研究サブタスクを自律的に実行しようと試み始めている。しかし、より重要な問題、すなわち研究者が明確な方法論や実行手順を示さず、解決すべき科学的問題だけを提示する場合、体系的な答えはまだ得られていない。AIはどの程度まで自律的に研究を完了できるのか？

既存の研究ベンチマークでは、この問いに答えることが困難です。あるタイプの評価は、主にモデルの既存の科学的知識の理解度を評価するもので、本質的には「既知の答えに基づく知識ベースの質問応答」に近いものです。別のタイプの評価は、コード実行やツールの使用を取り入れていますが、多くの場合、研究方法や運用手順を事前に定義しており、主にAIが所定のプロセスに従ってタスクを完了できるかどうかをテストします。これらのベンチマークは、知識の理解と研究実行能力を測定できますが、異なる領域をさらに区別することには苦労しています。AIは本当に自律的に研究ソリューションを設計できる能力を持っているのか、それとも単に人間が既に提供したソリューションを複製しているだけなのか？

この目的のために、清華大学、MIT、ハーバード大学、カーネギーメロン大学、マイクロソフトリサーチなど10以上の機関から40名以上の分野専門家が、共同で31,000時間以上を費やし、独立した研究能力のベンチマークであるASI-Benchを構築しました。その核心となる考え方は、単に問題の難易度を上げるのではなく、同じ研究プロジェクトに対して人間が提供する方法論的情報の量を段階的に減らし、AIのパフォーマンスがどのように変化するかを観察することで、システムが人間の指導にどれだけ依存しているかを定量化することです。

関連する研究成果は、「ASI-Bench：人工超知能の夜明け」と題され、プレプリントプラットフォームarXivに掲載されている。

論文を見る:
https://hyper.ai/papers/2608.17271

データセット：11の主要分野を網羅するプロジェクトレベルの研究タスクリポジトリ

ASI-Benchは、現実世界の研究課題をモデルにしたプロジェクトレベルのタスク群に基づいています。従来のベンチマークにおける知識ベースの質問や標準化された演習とは異なり、各タスクは比較的完成度の高いマイクロリサーチプロジェクトとして設計されており、エージェントは問題の理解、手法の選択、コードの実装、実験の実行、エラーチェック、結果の反復といった複数の段階を経る必要があります。

この課題は当初、基礎科学、生命科学、工学技術など複数の分野にわたる1,300以上の学術論文と最先端の研究課題から生まれた。研究チームはまず、各分野の専門家が代表的な候補テーマを選定し、次に工学的修正と実現可能性検証を行い、当初未解決だった研究課題が統一された環境で実行・評価できることを確認する。この過程で、科学的に論理的な欠陥のある課題、再現が困難な結果、不安定な動作条件、あるいは著しく難易度の偏りがある課題は排除される。

ファイナル、ASI-Benchは60件の研究タスクを保持しています。対象となる分野は、数学、物理学、化学、生物学、天文学、材料科学、地球科学、医療生物統計学、コンピュータ科学、ロボット工学、電気工学の11分野に及びます。タスクごとに異なるデータ形式、研究方法、検証基準が用いられるため、ベンチマークが特定の分野や固定的な問題解決方法に偏ることをある程度防いでいます。

各タスクには、完全な研究目標、具体的な入力データ、実行環境、明確な出力要件、および定量的な評価ルールが含まれています。タスクを開始した後、エージェントは入手した情報に基づいて独自に研究プロセスを計画し、コードとツールを使用して実験を完了する必要があります。 60のタスクには、合計2,600回以上のエージェントとのやり取りと2,400回のコード実行が含まれていました。1人のエージェントがすべてのタスクを完了するのにかかる累積時間は35時間を超えます。

科学研究タスクは本質的にオープンな性質を持つため、ベンチマークが「真に実現可能」であり、スコアリングが「効果的」であることを保証することが極めて重要です。この目的のために、研究チームは5回にわたる専門家間レビューを実施し、1,100件以上のレビュー依頼と2,000件以上のタスク修正を行いました。この基盤の上に、すべてのタスクについて、参照ソリューションの再現性とスコアリングプログラムの安定動作を確認するため、隔離されたサンドボックス内で1,500回以上のエンドツーエンドの試行を実施しました。最終的に、科学的合理性と工学的実現可能性のバランスが取れたプロジェクトレベルの研究タスクライブラリが完成しました。

方法論的指針の段階的撤廃、研究の自律性の定量化

ASI-Benchの最も象徴的なデザイン。重要なのは、能力の異なるエージェントに対して異なる問題を設計するのではなく、知能エージェントを同じ研究プロジェクトに組み込み、人間が提供する方法論的な情報だけを変更するという点である。研究目的、入力データ、動作環境、最終出力、および評価基準は変更されません。唯一の違いは、システムが受ける研究ガイダンスの量です。情報が徐々に減少するにつれてモデルスコアがどのように変化するかを観察することで、AIにおける困難が実行、手法の実装、または研究経路の自律的な選択のいずれに起因するのかをさらに判断できます。

ASI-Benchは、各タスクをB1、B2、B3、B4の4つのレベルに分類します。

B1:包括的な方法論的ガイダンス。システムは、支配方程式、数値計算方法、主要な実装手順、パラメータ設定などを含む、比較的完全な研究計画を取得できます。インテリジェントエージェントは、既存の計画をコードに変換して実行を完了させる必要があり、これにより、科学研究の実行能力の評価により近いものとなります。

B2:提供されるのは手法のカテゴリのみです。詳細な実装手順は省略され、システムは手法のカテゴリと基本原理のみを取得できます。例えば、システムは特定の問題がスペクトル法で解決するのに適していると認識できますが、どのように離散化するか、どのような積分戦略を用いるか、パラメータをどのように設定するかはすべて手動で決定する必要があります。このレベルでは、AIが抽象的な手法を真に実用的な研究プロセスに変換できるかどうかを主に検証します。

B3:研究目的とデータのみが提供される。方法論に関するヒントはすべて削除され、エージェントは生データ、研究目的、および出力要件のみを見ることができる。エージェントは、問題の性質を独自に判断し、研究方法を選択し、計算プロセスを設計し、実験を完了する必要がある。これは、ASI-Benchにおける自律的な研究能力の測定の中核レベルでもある。

B4:無関係で注意をそらす情報を追加する。B3を基に、事実としては正しいがタスクとは無関係な背景情報、検証されていない方法論的な推測、その他のシナリオ情報を追加し、複雑な情報環境において、システムが真に研究に関連するコンテンツを識別し、通常の研究プロセスを維持できるかどうかをテストする。

この仕組みにより、「独立した研究」は単なる一般的な概念ではなく、複数の連続した段階に分解できるようになります。例えば、モデルがB1では良好なパフォーマンスを示したものの、B2で著しく低下した場合、問題はコードの実行にあるのではなく、研究計画を単独で完了できるかどうかにあることを示唆しています。B2からB3にかけて再び急激に低下した場合は、方法論と研究デザインの選択が新たな大きな障害となっていることを示唆しています。

外部要因による干渉を最小限に抑えるため、ASI-Benchはすべてのタスクを隔離されたサンドボックス内で実行します。エージェントは、タスク用に事前に提供されたデータとツールにのみアクセスでき、オンライン検索や外部知識ベースへのアクセスはできません。したがって、最終結果は、モデルの検索能力よりも、モデル自身の推論、計画、および実行能力をより反映したものとなります。

4段階の情報勾配に基づいてASI-Benchは、さまざまな機能間の違いをさらに分析できます。B1とB2の変化は、手法を具体的なプロセスに変換する能力を反映しており、B2とB3の変化は、手法を自律的に選択し、研究計画を設計する能力を反映しており、B3とB4の変化は、冗長な情報に直面した際のシステムの堅牢性を反映している。

実験的検証：18の最先端システムの性能と能力の限界

ASI-Benchに基づき、研究チームは、「インテリジェントエージェントフレームワーク＋大規模ベースモデル」で構成される18の最先端システムを評価した。本書は、Codex、Claude Code、Kimi Code、MiMo Code、OpenHandsといったインテリジェントエージェントフレームワークに加え、GPT-5.5、GPT-5.6 Sol、Claude Opus、GLM、DeepSeek、Kimi、MiMo、MiniMaxといったモデルを対象としています。すべてのシステムは独立した環境で実行され、各タスクはそれぞれ3回独立して実行され、その平均結果が採用されます。

実験結果によれば、人間の指導が減少するにつれ、AIの研究成果は急速に低下した。 18のシステムは、B1の完全な方法ガイダンスの下で平均スコア50.91を達成しました。方法カテゴリのみを提供するB2に入ると、平均スコアは29.10に低下しました。方法ヒントが完全に削除されたB3では、平均スコアはさらに低下し、26.62となりました。最も優れたパフォーマンスを示したシステムは、Codex + GPT-5.6 Sol (ultra)で、B3で51.60のスコアを獲得し、50を超える唯一の構成となりました。推論強度を上げると結果が改善され、たとえば、GPT-5.6 Solをxhighからultraにアップグレードすると、B3のスコアが10.74ポイント上昇しました。しかし、全体として、現在のシステムは、安定したオープンエンドの自律研究を実現するまでに、まだ大きなギャップを埋める必要があります。

異なる情報レベル間のスコアのばらつきは、より具体的なスキルギャップを明らかにした。B1からB2へのシステムの平均スコアは21.82ポイント低下したが、B2からB3への方法では、メソッドカテゴリのヒントをさらに削除した後、平均スコアの低下はわずか2.48ポイントにとどまった。これはつまり…今日のAIにおける主な難題は、必ずしも「どの手法を用いるべきか」を決定することではなく、既存の方法論的なアイデアを、パラメータの選択、コードの実装、実験的な操作、結果の検証からなる完全なプロセスへとどのように発展させていくか、という点にある。一方、B4は無関係な情報や妨害情報を加えた後でも平均26.99点を獲得しており、これはB3の26.62点とほぼ同じである。このことから、少なくとも現在のタスク設定においては、情報ノイズは大きな制限要因ではないことがわかる。

この実験では、自律的な研究能力は基盤となるモデルだけで決まるわけではないことも明らかになった。同じモデルでも、異なるエージェントフレームワークと組み合わせると、結果が大きく異なる場合がある。例えば、MiMo V2.5 ProをClaude Codeと組み合わせた場合、MiMo Code単体と比較して総合スコアが40%以上向上した。また、Kimi K2.7もKimi Code単体よりもClaude Codeフレームワークの方が優れたパフォーマンスを示した。これは、タスク計画、ツール呼び出し、エラー訂正、プロセススケジューリングといったエージェントのメカニズムが、研究タスクの完了品質に直接影響を与えることを示している。

最後に、異なるシステム間では、コストとパフォーマンスの間に単純な線形関係は存在しません。例えば、Codex + GPT-5.6 Sol (xhigh) の実行コストは Claude Opus 5 の約 4 分の 1 ですが、B3 スコアはほぼ同じです。最もパフォーマンスの高い GPT-5.6 Sol (ultra) は、1 回の実行あたり約 1550 ドルかかります。したがって、実際の科学アプリケーションでは、モデルの能力に加えて計算効率も考慮する必要があります。推論への投資を増やすことで能力の上限を上げることができますが、研究タスクを妥当なコストで安定的に完了できるかどうかは、自律型研究システムが実用化に向けて取り組む上で直面しなければならない課題でもあります。

最後に書きます

長らく、AIの研究能力の評価は、科学的な疑問への回答、論文結果の再現、割り当てられた実験の完了に焦点を当ててきました。しかし、ASI-Benchはさらに踏み込み、人間が具体的な方法や実行パスを提供しなくなった場合、AIはどれだけの研究作業を自律的に完了できるのかを検証します。評価結果によると、AIは明確に定義されたパスを持つタスクを既にかなりうまく完了できるものの、現在の能力と、自由度の高い自律的な研究を安定的に行う能力の間には依然として大きなギャップが存在します。研究エージェントの今後の改善は、より強力なモデルと計算能力の向上だけに頼ることはできません。タスク計画、実験フィードバックの活用、エラー修正といった能力の強化も必要です。AIの研究能力の測定基準は、「どれだけ多くの疑問に正しく回答できるか」から、「どれだけ多くの現実世界の研究タスクを自律的に完了できるか」へと徐々に移行していくでしょう。