一句话总结

上海人工智能实验室及其合作机构的科学家提出了 SciReasoner，一个多模态科学基础模型。该模型将结构坐标离散化为统一 token 词汇，从而在蛋白质、小分子和晶体上实现原生结构推理，在 86 个基准中的 67 个上取得了最先进的结果，并生成了在 98% 的案例中双盲专家评估者认为优于或等同于前沿大语言模型的推理轨迹。

核心贡献

• SciReasoner 是一个多模态基础模型，它将 3D 坐标、分子拓扑和周期晶格连接离散化为统一的、能感知结构的词汇表，实现了自回归推理。在此过程中，结构 token 充当可寻址的证据单元。
• 在捷径相关性被削弱的设置中，SciReasoner 大幅提升了性能。低同源性蛋白质的细胞组分 Fmax 从 0.42 提升到 0.55，单步逆合成准确率从 0.63 提升到 0.72，并在 86 个基准中的 67 个上取得了最先进的结果，同时结构 token 注意力在与功能相关的界面上得到富集。
• 双盲专家评估将 SciReasoner 的推理轨迹评为在 98% 的案例中优于或等同于前沿大语言模型，这展示了结构 token 如何为科学推理提供一个可审查的基础，将准确预测与可解释的、具有约束感知的阐释联系起来。

引言

理解空间、化学和周期组织如何产生功能是蛋白质注释、分子设计和材料发现的核心，但机械地解释这些关系需要的不仅仅是简单的模式匹配。证据分布在局部基序、非局部接触、构象几何和长程有序中，要求模型能够将生物、化学和材料结构作为原生对象处理，并将其用作进行科学推理的明确、可审查的证据。先前的 AI 工具通常将结构表示与证据相关的推理分开：大语言模型将结构压缩为文本，失去了直接的物理基础，而特定领域的架构则输出预测却不暴露中间的推理逻辑。作者通过原生结构推理来解决这一差距，这是一种新的范式，其中结构 token 不是辅助描述符，而是推理轨迹中的主要的、可寻址的证据单元。他们在 SciReasoner 中实例化了这种方法，这是一个多模态基础模型，将蛋白质、小分子和晶体结构离散化为统一的科学 token 词汇表，然后生成将解释性语言与特定残基、片段或对称性描述符交织在一起的推理链，使声明可以直接追溯到结构证据。

数据集

作者从五个领域子集以及通用文本和指令数据中构建了一个多模态科学预训练语料库。数据集的组成、来源、处理和用途如下所示。

蛋白质数据

• 来源: 通过 SIFTS 映射的 PDB–UniProt；UniProtKB/Swiss-Prot 注释（功能描述、结构域、翻译后修饰、疾病关联等）；PubMed/PMC 文献；AlphaFoldDB 结构。
• 处理: 每条蛋白质与其 AlphaFold 结构配对，并转换为 Foldseek 3Di token（每个残基一个 token）。氨基酸序列包装在 <protein> 标签内，结构序列包装在 <protein_structure> 标签内。pLDDT < 70 的残基被屏蔽或替换为特殊 token。为防止数据泄露，任何与下游基准测试集序列一致性超过 30% 的蛋白质都将从预训练中移除。
• 用途: 将序列和结构都输入模型，以学习一级和三级信息。

小分子数据

• 来源:
  • 文本: 美国化学奥林匹克竞赛问题、Europe PMC 全文/摘要、ChemRxiv、bioRxiv、medRxiv、arXiv（过滤化学/物理化学/药物化学类）。
  • 属性数据集: MoleculeNet、Therapeutics Data Commons、PubChem BioAssay、Tox21、ChEBI、CHEMDNER、ADMET、hERG、CYP 等，转换为自然语言模板。
  • 反应/光谱: Open Reaction Database、USPTO reactions、Rhea、MOSES、MoNA 等。
  • 3D 构象: ChEMBL 和 BindingDB 分子，使用 RDKit 生成构象，在 <molecule_structure> 标签内表示为连接性和内坐标。
• 处理: 分子标识符被规范化；分子、标签或反应产物与保留测试集重叠的条目被排除。
• 用途: 该语料库将分子结构、属性标签和文献文本联系起来，能够同时学习化学知识和几何特征。

材料数据

• 来源: Materials Project、JARVIS-DFT、SNUMAT、hMOF、QMOF、OQMD、OMDB、JARVIS-QETB、GNoME、Cantor HEA，涵盖无机晶体、金属有机骨架、有机材料、高熵合金和计算发现的材料。
• 处理: 每种材料都用化学式、元素组成、CIF 晶体结构和模板生成的文本描述来表示。数据集在材料级别按 80/10/10 随机分割。所有验证和测试样本都从预训练语料库中移除。
• 用途: 模型学习周期系统的组成级、几何结构和文本级别的表示。

DNA/RNA 数据

• RNA: 来自 RNAcentral 的序列，FASTA 格式，包装在 <rna> 标签内，附带可用元数据（例如，RNA 家族）。
• DNA: 来自 NCBI 的基因组序列，采样为 1000 bp 的种级片段，FASTA 格式，包装在 <dna> 标签内，保留物种名称和基因组坐标。
• 处理: 除采样外，仅进行最少的过滤；未提及其他的防泄漏步骤。
• 用途: 这些为生物语言建模提供核苷酸序列上下文。

通用文本和指令遵循数据

• 来源: Nemotron-CC v2（数万亿 token 的 Common Crawl 衍生品）用于通用网络文本； Dolci-Think-SFT-32B 的数学和指令遵循分割用于推理格式的监督（每个回答包含一个 thinking 限定的轨迹）；SciIF 训练分割用于科学指令遵循。
• 处理: 未描述额外的过滤；作者直接合并了这些公开可用的分割。
• 用途: 与领域语料库混合，将通用知识、多步推理和指令遵循能力注入持续的预训练过程。

方法

作者将 SciReasoner 设计为一个统一的因果语言模型，处理交错的的结构和文本模态。该系统包含三个主要组件：特定模态的离线结构压缩器、充当离散跨模态投影的结构感知词汇嵌入层，以及基于 Qwen3-14B 初始化的统一大语言模型骨干 $f_\phi$fϕ​。该架构使模型能够以自回归的方式，根据结构证据和自然语言指令生成回应。

为了避免将基于文本的子词分词器直接应用于科学结构时造成物理拓扑的任意碎片化，作者使用了特定领域的离线编码器。对于原始的结构输入 $S$S（蛋白质、小分子或晶体），专用的离散编码器将其压缩成结构信息序列 $X_v$Xv​。具体来说，Foldseek 将蛋白质三维结构编码为残基级别的 3Di token，SLICES 处理晶体结构，而 ConfSeq 处理分子构象。编码的序列被打包上相应的结构标签。对于蛋白质数据的构建，作者遵循既定协议：使用基于 SIFTS 的 PDB–UniProt 映射将序列与文本注释关联起来，并从 AlphaFoldDB 获取 AlphaFold 预测的结构。每种结构被转换为与氨基酸序列一一对应的 Foldseek 3Di tokens；然后，氨基酸序列和结构序列作为独立的带标签的片段呈现。预测置信度低的区域（pLDDT < 70）被屏蔽或替换为特殊 token 以减少噪声。为防止基准测试泄漏，任何文本关联的蛋白质记录，如果与保留测试集的 MMseq2 序列一致性超过 30%，则从持续预训练中排除。

离散的结构序列 $X_v$Xv​ 通过一个专用的结构感知词汇表，被视同于语言 token 来处理。一个可学习的嵌入矩阵 $\mathbf{W}_v \in \mathbb{R}^{|V_v| \times d_{LLM}}$Wv​∈R∣Vv​∣×dLLM​ 通过简单的嵌入查找，将每个结构 token 投影到稠密的连续空间：

$\mathbf{H}_v = \text{Embedding}(X_v, \mathbf{W}_v) \in \mathbb{R}^{L_v \times d_{LLM}}.$Hv​=Embedding(Xv​,Wv​)∈RLv​×dLLM​.

这种离散投影绕过了连续空间编码器的计算成本，并将结构输入无缝地与大语言模型原生的语义空间对齐。同时，语言指令 $X_q$Xq​ 由大语言模型原生的嵌入层进行分词和嵌入，以产生 $\mathbf{H}_q$Hq​。结构和语言嵌入沿序列维度连接，形成统一的提示 $\mathbf{H}_{prompt} = [\mathbf{H}_v; \mathbf{H}_q]$Hprompt​=[Hv​;Hq​]。然后，大语言模型骨干 $f_\phi$fϕ​ 以自回归方式生成响应序列 $X_a$Xa​，确保生成严格以两种模态为条件。

预训练通过多阶段课程进行，优化单一的自回归因果语言建模目标（下一个 token 预测）。给定结构输入 $\mathbf{H}_v$Hv​ 和指令 $\mathbf{H}_q$Hq​，模型产生目标回应 $X_a = \{x_{a,1}, \dots, x_{a,T}\}$Xa​={xa,1​,…,xa,T​}，训练损失为

$\mathcal{L}_{NTP} = -\sum_{t=1}^T \log P_\phi(x_{a,t} \mid x_{a,<t}, \mathbf{H}_v, \mathbf{H}_q).$LNTP​=−∑t=1T​logPϕ​(xa,t​∣xa,<t​,Hv​,Hq​).

参数集 $\Theta$Θ 被划分为结构感知词汇表 $\theta_{vocab}$θvocab​、大语言模型文本 token 嵌入 $\theta_{emb}$θemb​、预测头 $\theta_{head}$θhead​ 和核心 Transformer 骨干 $\theta_{backbone}$θbackbone​。这三个阶段通过参数冻结、数据混合和学习率动态来区分。

阶段 1（热身训练）侧重于将新引入的结构 token 锚定在语言语义空间中。骨干 $\theta_{backbone}$θbackbone​ 被冻结，仅使用独立的优化器和独立的学习率调度，在基础的结构到文本重建任务上训练 $\theta_{vocab}$θvocab​、$\theta_{emb}$θemb​ 和 $\theta_{head}$θhead​。

阶段 2（全参数训练）解冻所有参数（$\phi = \Theta$ϕ=Θ），并用一个 Warmup-Stable-Decay (WSD) 学习率调度器初始化一个新的共享优化器。该调度器定义了预热 ($T_w$Tw​)、稳定 ($T_s$Ts​) 和衰减 ($T_d$Td​) 阶段，总步数为 $T_{total} = T_w + T_s + T_d$Ttotal​=Tw​+Ts​+Td​。学习率 $\eta(t)$η(t) 为：

\eta_{max} \cdot \frac{t}{T_w} & \text{if } 0 \leq t < T_w \\ \eta_{max} & \text{if } T_w \leq t < T_w + T_s \\ f_{\text{decay}}(t) & \text{if } T_w + T_s \leq t \leq T_{total} \end{cases}$$ 阶段 2 涵盖预热阶段和稳定阶段的初始部分（$0 \leq t < T_{stage2}$ 且 $T_w < T_{stage2} < T_w + T_s$）。在此期间，模型在多样化的、广泛来源的成对结构-文本数据集上以高恒定学习率进行训练，让整个网络吸收特定领域的结构知识。 阶段 3（退火训练）维持全参数优化，并继承阶段 2 的优化器状态和 WSD 调度器。它覆盖剩余的时间线（$T_{stage2} \leq t \leq T_{total}$），从恒定的学习率开始，之后触发衰减阶段。在此阶段，增加问答风格数据的比例以实现退火训练。 预训练后，检查点 $M_0$ 表现为下一个 token 续写器，而非遵循指令的推理器。后训练通过一个冷启动监督阶段以及随后的强化学习来实例化原生结构推理，分为领域内结构证据扎根和跨领域推理整合。 冷启动阶段旨在引出指令遵循和显式的思维链（CoT）推理。因为骨干原生支持可切换的思考接口，作者构建了一个包含两种回应模式的监督语料库。在思考模式下，回应是 $X_a = \langle\text{think}\rangle \backslash n \, c \, \backslash n <\text{/think}> \backslash n \backslash n \, y$，其中 $c$ 是推理过程，$y$ 是最终答案。在非思考模式下，一个 `/no think` 控制 token 将思考空间压缩为一个空的占位符，从而产生一个直接的答案。冷启动目标是一个仅针对回应的监督微调损失： $$\mathcal{L}_{SFT} = -\sum_{t=1}^T m_t \log P_\phi(x_{a,t} \mid x_{a,<t}, \mathbf{H}_v, \mathbf{H}_q),$$ 其中 $m_t = 1$ 仅针对回应片段中的 token。冷启动过程本身分为两个阶段。首先，任务被划分为 $J$ 个不相交的组；$M_0$ 在每个组由教师提供的 CoT 语料库上独立地进行冷启动，生成专门的检查点 $M_j^{cs}$，它们内化了连贯的推理风格。之后，在领域内扎根产生专家模型 $M_j^{expert}$ 后，这些专家重新生成通过验证的 CoT 轨迹，取代外部监督。这些同策略轨迹在各个组之间被汇集，并用直接回答的数据进行增强，然后基于相同的 $\mathcal{L}_{SFT}$ 从 $M_0$ 执行一次统一的冷启动，为跨领域整合提供一个匹配良好的初始化。 强化学习针对每个子任务使用以难度为中心的数据管理策略进行。从训练集中，$M_0$ 以自适应温度生成 $N=8$ 个随机采样，以确保多样性。计算经验解决率 $\hat{p}(x) = \frac{1}{8}\sum_{i=1}^8 f_i(x)$，其中 $f_i(x) \in \{0,1\}$ 表示正确性。保留 $0.125 < \hat{p}(x) < 0.875$ 的样本，并根据距离 $d(x) = |\hat{p}(x) - 0.5|$ 进行排序，选择 $K=2000$ 个样本，优先选择最接近中等成功概率的样本。这种中等难度的过滤确保了强化学习专注于探索可以翻转结果的实例。 训练使用 DAPO 算法，这是一个类 PPO 的裁剪目标函数，具有非对称的 clip-higher、去除退化组的动态采样以及 token 级别的策略梯度缩减。为了适应多样化的度量标准，二元奖励被一个奖励软化方案 $R_i^{\text{soft}} = g(m_i(q, o_i, \mathcal{A}(q)))$ 取代，其中 $g$ 是一个单调的校准函数，$m_i$ 是特定于任务的质量度量。领域内扎根阶段从 $M_j^{cs}$ 开始，在每个组内独立运行此强化学习过程，产生专家模型 $M_j^{expert}$，它们为统一冷启动提供同策略轨迹。跨领域推理整合随后从统一冷启动检查点开始，在合并的所有任务池上再次运行强化学习，将专家们的专门能力整合到最终模型 $M_{final}$ 中，而不产生破坏性的干扰。 # 实验 SciReasoner 作为一个统一的、整合了蛋白质、DNA/RNA、小分子和材料领域序列、结构和文本推理的多模态模型进行评估，实验涵盖多样的预测、生成和问答任务。研究表明，其结构感知的分词和思维链推理产生了可解释的、有证据基础的预测，超越了通用的 LLM，并匹配或超过了领域专家，尤其是在低同源性或结构依赖的设置中，结构证据将推理从表面线索重定向到具有物理意义的特征。包含领域内扎根和跨领域整合的后训练进一步提高了可靠性和推理质量，人类专家评估确认 SciReasoner 的推理轨迹因其连贯性、领域合理性和忠实的证据基础而受到强烈偏好。