大语言模型在处理长文本时长期受限于自注意力机制带来的计算复杂度爆炸问题，其时间成本随序列长度呈平方增长，严重制约模型扩展。为突破这一瓶颈，月之暗面（Moonshot AI）于今年2月提出“块注意力混合”（MoBA）架构，借鉴混合专家系统（MoE）思想，将长文本切分为多个数据块，并通过路由器动态稀疏选择相关部分，理论上将复杂度从二次方降至近似线性，为长上下文处理提供了可扩展的新路径。 然而，MoBA的实际落地面临两大难题：一是其成功背后的原理尚不清晰，二是缺乏针对现代GPU硬件的高效实现。尤其在使用小尺寸数据块时，原始实现因频繁内存访问和调度开销，反而导致性能下降，难以发挥理论优势。 对此，麻省理工学院韩松教授领衔的H.A.N.实验室联合英伟达研究人员，推出全新优化方案FlashMoBA。该方案不仅揭示了MoBA高效运行的关键机制，更通过定制化的CUDA内核实现软硬件协同优化，显著释放其潜力。 研究发现，路由准确率取决于注意力头维度与块大小的比值，即更细粒度的分块有助于提升信噪比。同时，引入短卷积可促进信息在块内聚类，进一步增强关键信号。为解决GPU上小块处理的性能瓶颈，FlashMoBA设计了两大核心创新：一是FlashTopK流水线，将质心计算与top-k选择融合，避免生成庞大的评分矩阵，大幅降低显存占用和计算开销；二是“收集-致密化”策略，先将分散的块数据高效加载至高速缓存，再统一处理为密集矩阵运算，极大提升GPU利用率。 实验表明，FlashMoBA在64K序列下速度比原始MoBA快7.4倍，内存使用减少6.1倍，且可稳定处理长达512K的超长序列，而原始MoBA在128K时即发生内存溢出。与业界领先的FlashAttention-2相比，FlashMoBA在长序列场景下实现高达14.7倍的加速。更重要的是，性能提升未牺牲模型质量，优化后的MoBA在语言建模与长文本检索任务中表现优于甚至媲美密集注意力模型，有效缓解了注意力稀释问题。 该研究为长文本大模型的高效训练与推理提供了坚实技术基础，标志着AI系统在可扩展性与硬件效率上的重要突破。相关论文与代码已开源，可访问arXiv及GitHub获取。