2023年，三星因员工将半导体参数、源代码等机密信息输入ChatGPT，导致数据被纳入训练数据库，引发多起信息泄露事件，凸显了云端AI处理模式在隐私与安全上的重大隐患。当前主流AI应用依赖将用户数据上传至云端进行处理，用户需授权服务商使用数据，存在信息外泄风险。随着大模型成本下降，AI将深度融入日常生活，若所有智能交互均依赖少数云平台，将加剧数据集中，威胁数据主权与安全。为应对这一挑战，南京大学计算机学院研究员李猛团队提出创新方案，通过推动大模型在本地设备（如手机、边缘服务器）的高效部署，实现数据“不出设备”的安全计算。其核心突破在于发现混合专家模型中“低分专家可被替换”的关键规律，并据此设计出能将专家缓存命中率提升2倍以上、显存占用减少50%以上的系统方法。该技术使原本需双显卡运行的任务，仅用单张显卡即可完成，显著降低硬件门槛，尤其适用于中小企业和家庭等边缘计算场景。 更关键的是，该系统在不修改模型架构、不牺牲精度的前提下，通过动态加载与缓存优化，仅将当前计算所需模型部分保留在显存中，其余部分暂存于外部，实现“按需调用”，有效缓解显存瓶颈。这一技术为手机端部署强AI模型提供可能，用户无需购买高内存手机，即可在现有设备上体验高性能AI。尤其在隐私敏感场景，如医疗、金融、政务等，本地化部署可避免用户数据上传，从根本上规避“读心术”类AI对历史行为的深度分析与潜在泄露风险。研究还特别关注国产显卡的适配问题。由于英伟达显卡受制裁且价格高昂，国内高校面临采购难题。李猛团队在与国产算力团队合作中发现，虽国产显卡算力达标，但显存容量不足。通过系统性探索，团队最终提出“低分专家替换”策略，结合多步预测与专家复用机制，成功在国产卡上实现高效运行，验证了国产硬件在AI计算中的潜力与可行性。 该成果不仅推动了软硬件协同设计的范式创新，更让李猛对国内计算生态的快速成长深感振奋。他指出，未来智能计算应如水电般普惠，成本应降至全社会可负担水平。团队正致力于将单位智能计算成本进一步压低，使几十至几百元的边缘设备也能具备强大AI能力。这将极大释放社会生产力，推动AI从“中心化”走向“去中心化”与“普惠化”，真正实现技术赋能全民。业内专家评价，该研究在系统优化与国产硬件适配上具有开创性，为AI本地化部署提供了可复用的技术路径，或将重塑未来边缘智能产业格局。