AI科学者、実験評価で苦戦

2025年11月6日、OpenAIとLigoは実験画像や機器値を読み取る評価基準BioBasicsBenchを公開した。100課題で上位設定でもGPT-6 Astraの平均は66.7点、GPT-5.6 Solは43.8点にとどまり、点数向上だけでは現場での信頼ある判断はできないと分かった。 2日後、AI Scientists Last Examも発表された。律動造物のシェートン博士が発起し、ニューサウスウェールズ大、シンガポール国立大、ローザンヌ連邦工大、カリフォルニア大バークレー校が主導した。大型言語モデルを実自動化実験室に接続し、提案、実行、測定、再判断を4079回実施。最も難しい八成分設計は54回すべて失敗し、Geminiも計量誤差後の3回で目標を回復できなかった。 背景には、実験は試料、時間、誤差を伴い、数学や計算より検証が難しいことがある。OpenAIはGinkgo BioworksでGPT-5を運用して成果を示した一方、実環境での判断力にはより厳しい評価が求められる。評価は観測、模擬、物理の3層に分かれ、成果と安全遵守を同時に測る方向へ進む。 結果は理解と行動の差を示した。GPT-6 Astraは模擬で高得点を得ても安全得点は低く、安全制約を破らずに完遂したモデルは確認されなかった。異常を検出しながら旧データと混在させ、安全と予測した操作が制約を破る例も出た。米Genesis Missionや中国のAI科研政策で実験環境の接続は進むが、実測による継続学習、仮想試行と物理検証の結合、制約下での最適化が課題として残る。