英特尔推出AutoRound：加速大语言模型与视觉模型的量化技术

近日，Qwen团队发布了最新一代大语言模型Qwen3，标志着Qwen在人工智能领域的又一重大突破。这一新一代的Qwen3模型在多个基准测试中表现优异，尤其是在编码、数学和通用能力等方面，与当前顶级的其他语言模型如DeepSeek-R1、Grok-3和Gemini-2.5-Pro相媲美。此外，Qwen3还推出了小型混合专家（MoE）模型和一个仅4B参数的小型号，其性能甚至超过了前一代72B参数的Qwen2.5-Instruct。 核心事件发展 关键人物或参与组织 Qwen团队是阿里巴巴达摩院的一部分，致力于开发高效且强大的语言模型。英特尔公司在后训练量化的技术方面做出了重要贡献，推出了名为AutoRound的新工具。 事件的时间线与背景 Qwen3的发布会是在近期举行，前代Qwen2.5已在业内获得了良好口碑。英特尔公司的AutoRound工具也在同期发布，为模型的高效部署提供了技术支持。 事件的起因、发展过程与结果 Qwen3的开发旨在提高模型在各种任务中的表现，特别是在需要复杂推理和快速响应的领域。为此，Qwen团队在预训练过程中增加了一倍的数据量，达到了36万亿个token。预训练分为三个阶段，分别在基础语言技能、知识密集型任务和上下文长度扩展上进行了优化。后训练过程则是通过四个阶段，开发出能够兼顾逐步推理和快速响应的混合模型。Qwen3在多语言支持上也迈出了一大步，支持119种语言，使其在全球应用场景中具有广泛潜力。 主要事实、突破或转折点 Qwen3-235B-A22B是此次发布的旗舰型号，而在小型方面，Qwen3-30B-A3B尽管参数激活量仅为QwQ-32B的十分之一，但性能更为出色。小型号Qwen3-4B也能与72B参数的前代相匹敌，这显示了Qwen3在参数效率上的巨大进步。Qwen3还支持“思考模式”和“非思考模式”，使用户能够根据实际需求灵活调整模型行为，从而在成本和推理解质量之间取得最佳平衡。 计算机科学研究的新里程碑 与此同时，英特尔公司推出的新一代重量量化工具AutoRound在低比特量化（如INT2到INT8）中表现出色，能在保持高准确率的同时显著减少性能损失。AutoRound通过结合优化权重取整和裁剪范围的方法，实现了这一点。它不仅支持几乎所有流行的大型语言模型和视觉语言模型，还能在多种设备上运行，包括CPU、英特尔GPU和CUDA设备，具有广泛的兼容性和灵活性。AutoRound的使用也非常简便，只需通过几个命令行调用和API操作即可完成量化和部署。实验结果显示，即使是2比特精度，AutoRound也能比现有主流量化方法的相对准确度高出2.1倍。 链接预测技术的进步 链接预测技术近年来在社交网络、电商推荐系统和生物蛋白质相互作用等领域得到了广泛应用。从简单的启发式方法到基于图神经网络（GNN）的复杂模型，链接预测的性能不断提高。本文介绍了几种常见的启发式方法，包括共同邻居、Jaccard系数、Adamic-Adar指数和偏爱依附，以及基于GNN的方法如VGAE和SEAL。实验证明，基于GNN的方法在Cora数据集上显著优于简单的启发式方法，显示出GNN在处理复杂图结构上的优越性。具体而言，VGAE在Cora数据集上的AUC为0.9032，AP为0.9179。 背景补充 Qwen是阿里巴巴达摩院开发的语言模型系列，旨在推进自然语言处理技术的边界。Qwen3的成功发布进一步巩固了阿里巴巴在大语言模型领域的领导地位。AutoRound则是英特尔公司在低比特量化的技术创新，其强大的社区支持和高效性为人工智能技术的广泛应用提供了重要的工具。链接预测技术的研究和发展不仅对学术界具有重要意义，也为工业界的各种应用场景提供了强有力的技术支持。Cora数据集作为学术引文网络的代表，被广泛用于评估图神经网络的性能，而PyTorch Geometric作为开源工具，帮助研究人员和开发者更方便地实现和优化这些模型。