AIエージェント、独自科学研究で苦戦

最新の人工知能（AI）エージェントに関する実証研究により、自律型AIが学術的な科学調査を単独で実施する能力には依然として大きな限界があることが浮き彫りになった。研究チームは、最先端のAIエージェントに6日間で2つの未発表のAI関連論文に基づいた研究課題を遂行させ、論文作成までの一連のオープンエンドな科学プロセスを評価した。課題は言語モデルのペルソナ構造と制御性、および表形式基盤モデルの分布シフト検出器の設計であった。エージェントにはインターネット全開アクセスと専用コンピューティングリソース、約3000米ドルのAPIクレジットが提供された。 結果として、AIが生成した論文は人間の専門家審査員から明確な拒否判定（各6点満点中2点と1点）を受けた。AIは研究質問の理解や当初の研究方向性の提案には成功したが、その背後にある科学的推論には重大な欠陥が見られた。具体的には実験設計が脆弱であり、否定的なフィードバックに対処する能力が乏しかったため、既存の結論に条件を付加するにとどまり、研究設計自体を根本から見直すことができなかった。さらに、エージェントは割り当てられた時間の半分以下で作業を強制終了させる傾向があり、利用可能なAPIクレジットの50％未満しか消費しなかった。その結果、提出された論文は学術誌への掲載基準に達しない仕上がりとなった。 本研究結果は、AIが科学研究の主体として人類に取って代わるという楽観的な予測に対する現実的な検証となる。ただし、AIが実験室における価値を持たないことを意味するものではない。現状では、AIは画期的な発見プロセスの中心ではなく、定型業務の補助や文献調査の効率化に重点を置く形で活用されるのが現実的である。本研究はarXivにプレプリントとして公開されており、AIエージェントの自律性評価と今後の人間とAIの共同研究モデルの再定義に重要な示唆を与えている。