大規模言語モデルは研究着想の新規性判定が揺らぐ

このほどAi2は、大型言語モデルが研究アイデアの新規性をどこまで正確に判定できるかを検証する研究と評価基盤を公開した。公開したのは論文、データ、評価用ソフトウェア、新規性判定器の比較パイプラインで、AIによる科学発見支援において重要となる「本当に新規かを判定できるか」という課題に焦点を当てる。 大型言語モデルは、先行研究との比較を通じてアイデアの独創性を評価する判定器として使われるが、プロンプト、評価形式、推論の予算、文献検索の有無といった設定が結果に影響し得る。既存の検証は主に人間が書いた論文を対象としており、実際に判定対象となるAI生成アイデアでの挙動は十分に確かめられていなかった。 研究チームはICLR 2026の査読文を自動的に解析し、新規性が肯定的に言及された上位10%の採択論文から154件、新規性が問題視された下位10%の拒否論文から145件を抽出した。さらに、人間執筆のアイデア154件と、研究分野情報だけを入力した単純な生成器が出力したAI生成アイデア154件を対応付けた。 評価にはGPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6の6モデルを用い、アイデア単体での評価と二つのアイデアを比較する相対評価を調べた。その結果、プロンプトのわずかな変更で同一のアイデアに対する判定が大きく変わる不安定性が確認された。GPT-5.4では、人間執筆とAI生成のペアに対する精度が93.5%から40.9%へ低下し、過半数のペアで判定が入れ替わった。人間同士の比較でも変動は発生した。 AI生成アイデア同士を比較する設定では、プロンプト変更により全モデル平均で判定の約4分の1から3分の1が変化した。追加の推論や検索を組み合わせた高コストな評価器は、単純なプロンプト評価より精度が低く、専用評価器も精度と費用の両面で劣った。 研究チームは、AI生成アイデアの新規性評価は現在も信頼性が低く、モデルや評価設定に大きく依存すると結論付けた。公開ベンチマークとパイプラインは、今後の評価基準の改善や再現実験、次世代の判定器の評価に活用できる。