Haoran Sun Yankai Jiang Zhenyu Tang Yaning Pan et al

要約

再現可能な科学の基盤は、正確で論理的に順序付けられ、実行可能なプロトコルにあります。自然言語による問い合わせからこれらのプロトコルを自律的に生成できれば、再現プロセスの効率は大幅に向上するでしょう。しかし、現在の最先端の大規模言語モデル（LLM）は、しばしば不完全または一貫性に欠けるプロトコルを生成するため、実用性に限界があります。この課題に対処するため、まず、27の生物学的サブフィールドにまたがる12,000件を超える構造化されたプロトコルを含む大規模データセット「SciRecipe」を提案します。このデータセットは、理解力と問題解決能力の両方を評価するタスクを網羅しています。さらに、プロトコル生成の精度を向上させるために、「スケッチ・アンド・フィル（Sketch-and-Fill）」というパラダイムを導入します。このアプローチは、分析、構造化、表現の各ステップを明確に分離することで、各段階が明示的かつ検証可能となるように設計されています。これに加え、ステップの粒度、行動の順序、意味的整合性を評価する構造化されたコンポーネントベースの報酬メカニズムを採用し、モデルの最適化を実験の信頼性と一致させます。これらの要素を統合して、知識獲得から操作的推論を経て、最終的に堅牢で実行可能なプロトコルを生成する「段階的知識から行動へのプロセス（Knowledge-to-Action）」に基づいて訓練されたモデル「Thoth」を開発しました。複数のベンチマークにおいて、Thothはプロプライエタリモデルおよびオープンソースモデルを常に上回り、ステップの整合性、論理的順序、意味的正確性において顕著な向上を達成しました。本研究のアプローチは、知識と実験的実行を橋渡しする信頼性の高い科学アシスタントの実現に向けた道を開きます。本研究で使用したすべてのデータ、コード、モデルは公開されます。