作者:三羊、李宝珠、李玮栋、 Yudi 、 xixi
编辑:李宝珠
在大模型时代的浪潮中,机器学习系统正经历着前所未有的变革。模型规模的急剧膨胀,让我们见证了 AI 能力的巨大提升,然而这种提升不仅为各个领域带来了新的机遇,也引出了一系列新的技术挑战和实践上的难题。
12 月 16 日,2023 Meet TVM · 年终聚会在上海创业者公共实训基地成功举办。本次 Meetup 中,Apache TVM PMC 、上海交通大学博士冯思远担任主持人,与 4 位嘉宾围绕「大模型时代的机器学习系统」这一主题展开了全方位、多角度的交流和探讨。
本次圆桌对话的 4 位嘉宾分别是:
* OpenBayes 贝式计算创始人兼 CEO 王臣汉
* 蔚来汽车自动驾驶 AI 引擎负责人吴钊
* OctoML 机器学习系统工程师金乐盛
* 字节跳动机器学习系统工程师朱虹宇
从左至右依次为:冯思远、王臣汉、吴钊、金乐盛、朱虹宇
我们在不违原意的前提下将本场对话汇总如下,快来一起听听各位嘉宾的精彩见解吧。
现阶段大模型在各个领域都是绝对的热点问题,无论是云端、端侧或者是车载 (Tesla FSD V12),各位嘉宾在实际工作或讨论中都会遇到有关大模型在训练、部署上的系统优化问题,请大家轮流介绍一下目前遇到的主要挑战及解决方案。
王臣汉:OpenBayes 贝式计算在今年 6 月份启动大模型相关的单一模态的训练,在 SuperCLUE 国内大模型创业公司榜单里排第五。从大模型的训练技术上考虑,目前大家遇到的核心问题还是网络延迟,基本上没有哪家芯片能在自己的集群上满负荷运行。
根据 OpenAI 官网的「scaling kubernetes to 2500 nodes」推算,其训练 GPT-3 时 GPU 峰值利用率应该是没有超过 18%,平均利用率约为 12- 15%,相当于如果花费 1 亿搞一个集群,这个集群里的投入只有 1200-1500 万起到了作用。从钱的角度上讲,如何最大化地把数据并行、流水运行、向量并行做好,其实是训练上面临的最大挑战。
部署/推理上的挑战在国内而言主要是工程问题比较复杂,如果显存带宽不是很好,PCIE 的优化其实就比较麻烦。 OpenBayes 贝式计算和很多上下游厂商都是采用 vLLM,借此省去很多工程化的工作,使推理上的工作量大幅下降。
金乐盛:我们遇到的挑战主要分为两点:
1. 因为 TVM 、 MLC-LLM 在 7B 上面速度运行后,有时候一张卡上存不下更大的比如 70 B 的模型,我们上个季度尝试用 Tensor Parallelism 来解决这个问题,目前这个方案已经开源了,大家感兴趣可以试一下。
2. 还有个需求,我们现在是只支持 batch size = 1 的情况,更适合于单个人用,但是如果想起一个 Serving 会发现远远不如 vLLM,这个我们现在也正在开发。
冯思远:我也补充一点,推理这块的主要趋势尚不明朗,Transformer 虽然是目前大模型采用的主流的架构,但从整体上看,方法还有很多变动,在这种情况下 Transformer 到底能不能一统 large model 还是个问号。所以在上层和底层存在不确定性的场景下,可定制化、敏捷开发可能比传统 TVM 端到端编译更重要。在我看来,大模型在推理和训练上还有很大进步空间。
随着美国禁令的加强,限制已经从原本禁运训练卡,进而影响到大模型推理卡的情况。短期来看,目前大模型云端推理最具性价比的方案是什么?(允许使用游戏卡、图形卡的情况下),国产 NPU 、 GPU 在推理领域填补空白还需要多少时间?
王臣汉:训练、推理模型的大小不同,使用场景、业务负载不同,很难得出统一的答案。
从边缘端的选型来看,国产芯片瑞芯微 3588 是个不错的选项,它性能、性价比都不错,技术栈相对通用,价格也比较便宜,容易获得。此外英伟达 Orin 相当于阉割版 Ampere GPU,如果按 q4f 16 预算规格,Orin 从显存到推理上运行 7B 、 14B 甚至 34B 的模型都没有太大压力。
云端的选型,英伟达随后披露了 H20 、 L20 和 L2 这三款片,英伟达官方给到的消息称,在大模型的实际推理层面大概是 L40 的 70%-80%,A6000 虽然后来也被增补进了禁售清单,但由于库存量比较大。 A6000 的好处就是显存大,48 GB,带 NVLink, 一对装起来就能得到一个 130% 的 A100 。
以我们跟国产芯片厂商接触得知,大家确实都在针对 Attention 单一的 Backbone 做最大优化。
在国产芯片领域,你认为在多长时间内,能够有一家企业在推理端实现真正地落地,并且能够瓜分英伟达的市场份额?
王臣汉:我觉得国产芯片企业大概能在 18 个月内吃掉英伟达 20% 以上的市场份额。这个判断的主要依据是我国利好政策以及美国持续制裁,推动了国产化率提升。而且,据我了解,目前已经有国内厂商对英伟达 CUDA 的指令、 API 兼容可以达到 92% 以上。所以,我对于 18 个月的周期预判还是很有信心的。
蔚来为何会选择 TVM?TVM 在自动驾驶领域又有哪些优势?
吴钊:首先肯定是因为我本人有 TVM 技术背景,所以在构建团队时,会优先关注 TVM 。其次,在实际项目中,考量技术是否合理的重要标准就是看它的架构是否能满足业务需求。
自动驾驶是一个很复杂的应用场景,对架构的要求也更加严苛,在选择技术路线的时候,需要综合考虑项目需求与项目周期。对于蔚来的自动驾驶业务而言,第一款车型 ET7 计划在 2022 年 3 月开始交付,当时,我们的团队只有半年时间来应对自动驾驶的复杂模型,所以,我们肯定要选择一个 End to End 的方案,当时很多友商使用的都是 TensorRT 。 TensorRT 的问题就是模型会越来越复杂、要求也会越来越奇怪,从长远来看不太适合。
自动驾驶领域首先要考虑的问题就是如何在车端完全控制性能、精度等 metrics,因为自动驾驶需要解决很多特殊情况,算法团队大多在云端做模型训练,然后部署到车端。在这个过程中,如果使用 TensorRT 黑盒,实际上无法完全掌握其量化算法,而量化在我们看来是非常重要的。
此外,MLIR 非常适合传统编译器,但是前期需要投入比较多的时间,考虑到当时我们有一个相对严苛的时间限制,再加上要选择 End to End 的方案,所以经过评估后我们也放弃了 MLIR 。
最后,对于自动驾驶而言,整体部署的稳定性以及 CPU 低占用率至关重要,因此我们需要选择一个能完全把控的方案,能降低 CPU 占用率,这是黑盒没办法实现的。
综合来看,全白盒 TVM 是当时最适合我们的选项。
目前无论是大模型还是自动驾驶模型,都呈现出模型与硬件相互绑定的情况,在这种情况下模型的算法、系统甚至芯片都会有共同的演化,各位老师可以就此分享一些自己的看法。
王臣汉:我认为 DSA 和 GPGPU 很可能互相依存,谁也离不开谁,未来芯片的体系结构也不会只有 Attention 这一种形式, 近来社区里诞生了非常多新技术、新产品,比如 Mistral 7B MoE 、微软提出了 RetNet 、多模态崛起等,大语言模型统一整个体系结构可能只是从今年 3 月份到 10 月份的一个短暂的幻觉,很可能 AI 未来的体系结构以及英伟达定义的这套范式还得延续一阵时间。但是英伟达不一定能一直在这件事上保持领先,毫无疑问 Attention 会缩短其他追赶者和英伟达之间的距离,比如 AMD MI300X 和其他不太方便公开提及名字的国产芯片。
从更多的趋势上来看,体系结构上的演化即以 GPGPU 为核心的仍然会是一个长期的趋势。
吴钊 :真实的项目经历中小改可以、大改很难,也就是说在基本满足业务需求的前提下,可以为了硬件做微调适配,但是如果为了达到很好的效果必须用 Transformer,但是某硬件对 Transformer 的支持非常差,从业务角度来看,我们不会部署到这款硬件上。这就是业界的现状。
谈到挑战,我觉得肯定是会有挑战的,包括前面提到的 RWKV 或 RNN,不再是 Attention 二次方的复杂度,而是线性的复杂度。这里也存在问题,要想挑战成功光靠这个是不够的,因为我们可以通过一些压缩或其他手段,在有限场景下满足对效果的要求,这种情况下 RWKV 的生态和效果都比不上 Transformer,用户就没有理由放弃 Transformer 转而采用 RWKV 。
因此在我看来,算法才是最重要的驱动力,在算法效果能达到的情况下,考虑到性价比,我们可能会考虑其他系统芯片。
金乐盛:我的想法和吴老师很像,我之前做过一段 Machine Learning,也发过一些关于 AI 的 Paper, 我发现做 ML 的人很少关注 latency 或者 system 相关的指标,大家更关注 accuracy 的提升以及能否达到 SOTA 。所以我觉得如果能出现一个性能完全超越 Transformer 的新模型,那它肯定会成为主流,所有硬件厂商及软件栈都会去做适配,因此我认为算法还是占主导地位的。
王臣汉:我们之前有估算过 RWKV,参数规模比较大时,它的训练成本可能会降到 1/3 左右。比如构建大规模机器学习模型时,大家凭的是通讯工具和通讯,从指数级降到线性级别后,它的通讯需求会降低。
尽管 Attention 机制在 2017 年开始被人们注意,但是通过爬取全球机器学习相关的论文并进行分析,我们发现仅 2022 年一年发布的论文,就超过了过去多年的总和。
毫无疑问 GPT-3 甚至 ChatGPT 就是这个 milestone,甚至 ViT 诞生前基本没人相信 Attention 能用在视觉任务上。我们认知一个模型结构总是需要一个事件证明其有效性,要么参数规模巨大有效,要么这个机制在某类任务上 SOTA 。回过头来看 RWKV,RWKV 之所以到现在还没有展现出超越 Attention 的潜力,很可能就是因为投入预算上的巨大差距,RWKV 的潜力还远没有被证明出来。
我认为应该在现有的 Backbone 基础上预测 Attention 之后的 Backbone,目前看起来 RWKV 和微软的 RetNet 是有这个潜力的。
未来大模型部署是以端侧为主还是以云端为主?
吴钊 :我认为未来 3-5 年内会以端侧为主,首先大模型的产品形态绝对不会只以 Chat 为主,未来一定会出现非常多的垂类大模型。比如自动驾驶车、手机、微型机器人等都属于终端设备,而且这种 Infer 的需求与计算量都是巨大的,不太可能存在一个这样的云来支撑这么多的场景和设备。与此同时,如自动驾驶等高度延迟敏感性的应用,端到云的延迟也是必须考虑的一个因素
王臣汉:大模型在云端部署的时间可能比我们想象的要长。前面大家基本认为 1-2 年内是云端为主,5 年左右转移到端侧。我自己判断是 3-4 年内是云端, 5-8 年是端测。
以 GPT-3.5 (20B) 为例,它在 Q4 FP16 大概有 10 GB+,抛开费电不谈,手机上用 10 GB+ 来存一个模型,这在现在还不是所有人都能接受的事情。另外芯片制程发展的速度在放缓,芯片体系结构也不会再像过去 20 年这样狂飙突进,所以我并不认为云端模型能很快下放到端侧。
冯思远:关于 Transformer 发展的预期,我同意臣汉的观点,5 年内基本上不太可能完全脱离云端,但是如果有一个新模型出来,它可能解决一部分的算力问题。如果要在手机端部署大模型,其实并不缺算力,以安卓手机为例,它有一个 35 T 的矩阵单元,但这个矩阵单元是单 batch,因此在大模型推理的时候完全用不上。如果有一个模型能解决端测这种推理问题,大概率是在模型发布后半年内解决,至于这个模型什么时候发布,还不太好下定论。
模型尤其是端侧的模型,它的生产方式跟部署在云端的模型完全不一样,它必须以公司为主导,比如高通、苹果等厂商会设计一个模型,专门针对手机或端侧去部署。如果要让你的模型具备它的效果,那么不用超越 Transformer,只要接近 Transformer 即可,这个事情端侧更适合,它一定与模型的设计、训练以及任务的差异性相关。
吴钊:现在主流的做法是在云端推导大模型,然后蒸馏出来一个小模型。从实际角度来看,我们更多考虑如何支持业务研发一些垂直的应用,不需要部署像 LLaMA 这么大的模型,垂直场景情况下参数量可能 1-3B 就够了。
王臣汉:今天我们讨论体系结构、讨论 Backbone 但没考虑数据规模。基于香侬前辈的信息学原理,在一定矩阵的情况下,承载的数据量是有限的,更高效的压缩方式会一定带来损失。因此如果想要一定的性能——假设这个性能以 GPT-3.5 为基准,刚才我们提到了 10 GB+,那么就算有再高效的 Backbone 出现,我们都得相信它不会小于 7 GB 。为了响应这个级别的模型,设备的存储虽然还能扩大,但它的计算量不会再小了。
前面我提到了制程的迭代速度正在放缓,可能再过 5-10 年,我们在单一尺寸芯片上能榨出的性能有可能还不及过去 3 年多,这是我们现在能看到的事实。
2023 年 Q1-Q4,我们在上海、北京、深圳成功举办了 4 场线下 meetup,很开心能够在不同的城市汇聚起关注 AI 编译器的工程师,为大家提供一个学习交流的平台。 2024 年,我们将继续开拓 TVM 城市地图,诚挚邀请各位企业及社区伙伴们以各种形式参与共创,无论是推荐讲师还是提供场地、茶歇,我们都非常欢迎的。
让我们携手创造国内最活跃的 AI 编译器社区!
没有观看嘉宾精彩演讲的小伙伴,可以点击活动回顾 (上) | 2023 Meet TVM 系列活动完美收官查看完整录播~
关注微信公众号「HyperAI 超神经」,后台回复关键字「TVM 年终聚会」,获取嘉宾完整 PPT 。
大家也可以备注「TVM 年终聚会」,扫码加入活动群,获取最新的活动资讯哦~
作为本次活动的主办方,MLC.AI 社区成立于 2022 年 6 月,并由 Apache TVM 主要发明者、机器学习领域著名的青年学者陈天奇,带领团队上线了 MLC 线上课程,系统介绍了机器学习编译的关键元素以及核心概念。
2022 年 11 月,在 MLC.AI 社区志愿者的共同努力下,首个完整的 TVM 中文文档上线,并成功托管至 HyperAI 超神经官网,进一步为对机器学习编译感兴趣的国内开发者,提供了接触并学习一门新技术的基础设置——文档。
MLC 线上课程:https://mlc.ai/TVM 中文文档:https://tvm.hyper.ai/
HyperAI 超神经国内领先的人工智能及高性能计算社区,致力于为广大国内开发者提供数据科学领域的优质公共资源,截至目前已为 1200+ 公开数据集提供国内下载节点,支持 300+ 人工智能及高性能计算相关的词条查询,现已收录数百个行业词条及案例,上线含大模型在内的数千个公共数据集和教程, 并托管了完整的 TVM 中文文档。
访问官网:https://hyper.ai/
OpenBayes 贝式计算是国内领先的高性能计算服务提供商,通过为新一代异构芯片嫁接经典软件生态及机器学习模型,进而为工业企业及高校科研提供更加快速、易用的数据科学计算产品,其产品已被数十家大型工业场景或头部科研院所所采用。
访问官网:https://openbayes.com/
厘米空间(厦门)是招商局集团旗下的专业创新园区管理公司,在厦门运营「厘米空间 CM Space」专业孵化器。扎根于东南沿海,依托招商局集团的交通、城市与园区综合开发和金融三大主业优势,重点为人工智能领域创业企业提供发展初期最为急需的应用场景、模式验证、种子期客户等资源支持,协助人工智能公司高效孵化。
上海云基地(上海市云计算创新基地、上海市大数据创新基地)是国内起步较早的国家级专业孵化器,推动云计算产业从 0 到 1 起步发展。以基金+基地+平台的模式,以数字经济产业为核心,聚焦云计算、云原生、大数据与人工智能、数字医疗等细分领域,集聚和孵化了近千家海内外优秀企业。通过连接技术、用户、资本、服务四个生态,持续举办「场景创新实验室] 和「数字经济上市预备营」,构建数字经济产业加速器。
归心谷——全球企业跨境一站式服务平台,致力于全方位打造集创业孵化基地、归心谷人才、归心谷企业服务、归心谷文化传播等为核心内容的市场化企业服务平台。联动北美、欧洲、亚洲等海外智库与市场资源,提供产业园区和孵化基地运营、创业培训、企业咨询服务、投融资、海外人才归国发展、全球创新创业活动等服务,同时帮助中国创业企业出海。归心谷以发现人才,培养人才,成就人才为目标,帮助优秀青年人才实现梦想,形成海归创业和人才培养的归心之地。