最先端の大規模言語モデル (LLM) と LLM 拡張システムには、分野を超えた科学的発見を急速に加速する可能性があるという楽観的な見方が広まっています。現在、教科書の科学問題に関する LLM の知識と推論能力を測定するベンチマークは数多くありますが、科学研究に必要な実践的なタスク (文献検索、プロトコル計画、データ分析など) での言語モデルを評価するために使用されるベンチマークはほとんどありません。パフォーマンス。

このようなベンチマークを確立するための最初のステップとして、FutureHouse の研究チームは 2024 年に言語エージェント生物学ベンチマーク (LAB-Bench) を開始しました。データセットには 2,400 を超える多肢選択式の質問が含まれており、人工知能システムを評価するために使用されます。文献検索と推論能力、データ解釈能力、データベースにアクセスしてナビゲートする能力、DNA とタンパク質の配列を理解して制御する能力などを含む、実践的な生物学研究能力における一連のパフォーマンス。関連する論文結果は「LAB-Bench: 生物学研究のための言語モデルの能力の測定」