一句话总结

Google DeepMind 推出 Gemma 4，一个参数规模从 2.3B 到 31B 的开源权重多模态模型系列，采用稠密和混合专家 (MoE) 架构，包含一个无需编码器、可直接输入原始音频和图像块的 12B 变体，并具备思考模式，在 STEM、多模态和长上下文任务上达到了最先进的性能，可与更大的前沿模型相媲美。

核心贡献

• 论文在 12B 模型中引入了一种统一的、无需编码器的架构，可直接处理原始音频和图像块。
• 集成了一种思考模式，可在响应前生成推理轨迹，从而提升模型的整体性能。
• 系统级效率改进，包括量化感知训练、多 token 预测起草器和 KV 缓存共享，提高了推理速度、内存效率和长上下文处理能力，促成相比 Gemma 3 的性能飞跃，并取得与更大开源模型相比具有竞争力的结果。

引言

大语言模型对结合多模态理解、复杂推理和高效部署的开源权重架构的需求日益增长。以往的模型，包括早期版本的 Gemma，在长上下文 KV 缓存内存爆炸、独立模态编码器引起的内存碎片化以及有限的推理深度方面存在困难。作者引入了 Gemma 4，这是一个稠密和混合专家模型系列，通过以下方式弥补了这些不足：在响应前生成推理轨迹的思考模式；降低内存开销的局部到全局注意力比率和 KV 缓存共享；用于推测解码的多 token 预测；提高内存效率的量化感知训练；以及直接将原始音频和图像块投影到 LLM 嵌入空间的统一的无编码器架构，实现了能与大得多的开源模型相媲美的前沿性能。

方法

作者为 Gemma 4 模型采用了 Decoder-only Transformer 架构，融合了带有 RMSNorm 的前置归一化和后置归一化，以及 QKNorm。该模型系列包括具有不同有效参数量的稠密架构和一个混合专家 (MoE) 模型。为了优化长上下文效率，作者采用了局部到全局的注意力比率模式，并通过在全局注意力层中重用键作为值来提高内存效率。位置编码在全局注意力层使用 $\alpha$α-RoPE，在局部层使用标准 RoPE，显著减少了全局 KV 缓存。

对于多模态能力，模型集成了视觉和音频模态。较小的模型利用专用的视觉 Transformer 和基于通用语音模型的音频编码器。然而，对于统一的 12B 模型，作者引入了一种无需编码器的架构。这种范式用轻量级投影模块代替了独立的编码器。视觉块通过一个带有基于二维坐标位置嵌入的大型矩阵乘法进行处理，而原始音频块则直接投影到 LLM 嵌入空间，无需额外的位置编码。

为了加速推理，作者训练了一个小型自回归多 token 预测 (MTP) 起草器头，用于推测解码。在此过程中，上一步的模型最后一层激活值和 token 嵌入被送入 MTP 头。MTP 头使用一个独立的嵌入器和一个 4 层 Transformer 块顺序生成后续 token，该块对主模型的键值对进行交叉注意力，如下图所示：

这种设计消除了 MTP 预填充的需要，并支持任意草稿长度。为了在较小模型中实现高效解码，作者通过用对 token 簇的 top-k 操作替代对整个词汇表的投影操作，减少了开销，在保持相似接受率的同时显著降低了最终矩阵乘法的规模。

预训练过程利用了一个大规模的多样化数据集，包含网页文档、代码、图像和音频，并使用 SentencePiece 分词器进行处理。作者应用了严格的数据过滤，以净化基准测试并减轻不安全内容。在预训练之后，模型经过指令微调以启用思考模式，允许在回答前生成推理轨迹。此阶段涉及仔细的数据过滤，以优化性能并最大限度地减少幻觉。

最后，作者实现了量化感知训练，以提供高效的量化模型。他们专注于具有低位宽权重和激活值量化的移动端量化，以及逐块量化。量化感知训练也被应用于图像和音频编码器，显著减少了内存占用和设备端延迟。

实验

最终的 Gemma 4 模型通过 Arena 上的盲选人工并排比较、涵盖文本、视觉、音频和长上下文任务的多种静态基准测试，以及在不使用安全过滤器的情况下进行的严格安全测试来进行评估。Gemma 4 31B 是顶级的开源稠密模型，26B-A4B 变体的性能可与大得多的开源模型相媲美，而 E2B 和 E4B 模型在所有基准测试中匹配或超越了更大的 Gemma 3 27B。与上一代 Gemma 模型相比，这些模型在所有类别的内容安全方面也显示出重大改进，具有最低限度的策略违规和较低的不合理拒绝率。

Gemma 4 涵盖了从紧凑型音视频模型 (E2B, E4B) 到高达 31B 参数的大型稠密和混合专家 (MoE) 模型的一系列模型尺寸。31B 稠密模型在人工评估中取得了顶级开源模型性能，而高效的 E2B 用大约 1/10 的参数就匹配了更大的 Gemma 3 27B。所有模型在基准测试、长上下文任务和内容安全方面，相较于前代 Gemma 均有显著提升。E2B 用大约 1/10 的参数，在静态基准测试中达到了与 Gemma 3 27B 相当的性能。Gemma 4 31B 在人工评分并排评估中是领先的开源稠密模型。26B-A4B 混合专家模型在人工评估中的表现与大得多的开源模型相当。E4B 在所有视觉基准测试中等于或超越 Gemma 3 27B。E4B 在长上下文能力上优于 Gemma 3 27B。所有 Gemma 4 模型在内容安全方面相比 Gemma 3 和 3n 均有重大提升，具有最低限度的策略违规和较低的不合理拒绝率。

预训练在 TPUv5p 和 TPUv6e 芯片上进行，每种配置都经过调优以最小化步进时间。所有模型的数据分片固定为 16，而序列和副本分片则随模型大小扩展。较大的模型受益于切片粒度弹性，将故障恢复时间从数分钟缩短到数秒，以及 ZeRO-3 优化器状态分片。从 E2B 到 31B，每个模型的数据分片一致设置为 16。副本数量随模型大小呈非单调变化，在 TPUv5p 上的 12B 模型达到峰值 48。

量化显著减少了所有模型尺寸的内存占用，移动端量化将最小模型压缩至 1 GB 以下，而 Q4_0 将最大模型压缩了约 70%。32k token 上下文的 int8 KV 缓存仅增加了适度的开销，范围从 0.05 GB 到 1.10 GB，使得量化推理切实可行。移动端量化（混合 int2/int4）将 E2B 检查点从 4.6 GB 压缩至仅 0.8 GB，减少了超过 80%。Q4_0 量化将 31B 模型的权重内存从 64 GB 减少到 19.2 GB，而其 KV 缓存仅增加了 1.1 GB。26B-A4B 混合专家模型在 Q4_0 下，总权重内存和活跃权重内存均有所缩减，从 52.0/7.6 GB 降至 16.2/2.8 GB。

在 Arena 文本排行榜上，具有混合专家架构和数千亿参数的开源权重模型占据榜首，然而稠密的 Gemma 4 31B 在开源稠密模型中取得了最高 Elo 分，并与这些庞大系统的性能相匹配。较小的 Gemma 4 26B-A4B 同样能与参数总量超过其 30 倍的模型相媲美。顶级的开源稠密模型是一个 31B 参数的系统，性能优于总参数高达 1.6 万亿的混合专家模型。Gemma 4 26B-A4B 的 Elo 分与总参数超过 7000 亿的开源模型相当，尽管其体积仅为后者的一小部分。

处于思考模式的 Gemma 4 模型始终优于非思考模式的 Gemma 3 27B。31B 变体在所有基准测试中取得了最强结果，而轻量级的 E2B 模型尽管参数量少一个数量级，性能却大致匹配 27B 基线。26B‑A4B 和 12B 模型也表现强劲，26B‑A4B 在若干任务上紧随 31B 之后。Gemma 4 31B 在所有六项基准测试中大幅领先，包括 MMLU Pro 和 AIME 2026。参数量少 10 倍的 E2B 模型在 GPQA Diamond 上取得了具有竞争力的性能，并在数学和编程基准测试中优于 27B 基线。Gemma 4 26B‑A4B 在 MMLU Pro 和 AIME 2026 上的得分仅略低于 31B，使其成为一个强大的小型替代方案。12B 模型是 Gemma 4 系列中最小的变体，已在 MMLU Pro 上超越了 27B 基线。

跨模型尺寸的实验，从紧凑型音视频模型到 31B 稠密和混合专家架构，表明 Gemma 4 31B 在人工评估中取得了顶级开源模型性能，并匹配了更大的开源系统，而高效的 E2B 用大约 1/10 的参数就匹配了之前的 Gemma 3 27B。所有模型在基准测试、长上下文任务和内容安全方面相比前代均有显著提升，量化技术实现了内存高效的部署，最小模型被压缩至 1 GB 以下。在思考模式下，整个 Gemma 4 系列均超越了非思考模式的 Gemma 3 27B，其中 31B 在所有基准测试中领先。