要約

自然科学の表現形式（テキスト、純粋な配列、および配列-テキストペア）と自然言語を統合する科学的推論基盤モデルを提示する。本モデルは、2060億トークン規模のコーパス（自然科学テキスト、純粋な配列、配列-テキストペアを含む）上で事前学習を行い、その後、4000万件の指示データを用いたSFT（Supervised Fine-Tuning）により統合し、冷スタート段階の緩やかなブートストラッピングを用いて長文形式の思考過程（chain-of-thought）を誘導した。さらに、タスク固有の報酬設計を用いた強化学習を実施することで、意図的かつ体系的な科学的推論能力を獲得した。本モデルは以下の4つの能力ファミリーをサポートし、ワークフロー全体で最大103のタスクに対応可能である：(i) テキストと科学的フォーマット間の忠実な変換、(ii) テキスト／知識の抽出、(iii) 物性の予測、(iv) 物性の分類、(v) 無条件および条件付きの配列生成および設計。専門的システムと比較して、本アプローチは指示のカバー範囲を拡大し、異分野への一般化性能を向上させ、出力の忠実性を高めている。また、データの収集・整備および学習プロセスの詳細を提示し、異分野間の学習が転移性能および下流タスクの信頼性を強化することを示した。本モデル、指示微調整用データセット、および評価コードは、それぞれ https://huggingface.co/SciReason および https://github.com/open-sciencelab/SciReason にてオープンソースとして公開されている。