随着人工智能技术的普及，数据隐私与安全问题日益凸显。2023年，三星员工因将半导体参数、源代码等机密信息输入ChatGPT，导致敏感数据被上传至云端训练库，引发多起信息泄露事件。这一事件暴露了当前主流AI应用依赖云端处理的固有风险：用户输入的数据需上传至远程服务器，不仅面临被滥用或泄露的隐患，也使个人隐私、企业机密乃至公共数据处于不可控状态。尤其在手机等移动设备上，多数AI功能仍依赖云端大模型，用户不得不让渡数据控制权。 为破解这一困局，南京大学计算机学院研究员李猛团队提出了一种创新的本地化部署方案，成功实现大模型在资源受限设备上的高效运行，且全面支持国产显卡。该技术的核心突破在于发现混合专家模型中“低分专家可被替换”的规律，并据此设计出一套系统方法，将专家缓存命中率提升两倍以上，显著优化显存利用率。 传统模型运行需将全部权重加载至显存，对硬件要求极高。而李猛团队通过动态调度机制，仅将当前计算所需的模型部分保留在显存中，其余部分暂存于外部存储，按需调用。这一策略大幅降低内存占用，使原本需两张显卡运行的任务，如今仅凭一张即可完成。在手机等边缘设备上，这意味着无需大幅增加内存容量，也能运行更强大的AI模型，从而在不牺牲性能的前提下，实现真正的本地化智能。 更值得关注的是，该研究全程基于国产硬件平台开展。面对国产显卡算力达标但显存不足的现实挑战，团队并未放弃，反而在实践中发现了硬件生态快速发展的潜力。他们通过软硬件协同优化，不仅验证了国产计算卡的可行性，也推动了系统级创新。这一成果表明，中国在AI基础设施建设方面正稳步迈向自主可控。 该技术的落地意义深远。对用户而言，本地AI意味着数据不出设备，从根本上杜绝了信息外泄风险，尤其适用于金融、医疗、政务等对隐私要求极高的场景。对产业而言，它有望缓解因追求高内存手机带来的成本压力，使更多人以更低门槛享受先进AI服务。长远看，该研究为实现“智能如水电”提供了技术路径——让计算资源变得廉价、普惠，最终赋能千行百业。 李猛团队强调，未来AI的发展不应仅依赖硬件升级，而应通过算法与系统创新，实现软硬件协同演进。他们正致力于将这一技术拓展至个人电脑、边缘服务器等更多场景，目标是让几十甚至几百元的小型硬件模块，也能承载强大的智能能力。这不仅是技术的突破，更是智能普惠化的关键一步。