DeepSeek试验稀疏注意力技术大幅降低AI计算成本

中国AI实验室DeepSeek近日在其最新发布的v3.2版本中，测试了一种名为“稀疏注意力”（sparse attention）的技术，旨在大幅降低AI模型的计算成本与推理开销。 该技术通过优化模型在处理长序列数据时的注意力机制，仅对关键信息进行计算，而非对所有输入 token 全面分析。这能显著减少内存占用和计算量，从而降低运行AI模型所需的硬件资源和能源消耗。 在实际测试中，DeepSeek v3.2在保持模型性能稳定的同时，实现了更高的推理效率，尤其在处理长文本任务时优势明显。这一进展对推动大模型在边缘设备、移动端及低算力环境中的应用具有重要意义。 稀疏注意力并非全新概念，但其在大规模语言模型中的高效实现仍面临挑战。DeepSeek此次的实践，为降低AI部署成本提供了可行路径，也反映出中国AI团队在模型优化与工程效率方面的持续突破。