Liquid AI 团队近日推出了一款名为 Hyena Edge 的新型“液态”边缘计算模型，据称在效率和质量上均超过了目前主流的 Transformer 模型。与依赖人类经验和直觉进行模型设计或使用有限空间内的自动化搜索方法不同，该团队提供的 STAR（Scalable Transformative Architecture Research）框架提供了一个全方位的解决方案。该框架基于 LIV（Layer-wise Invariant Variations）理论，能够统一描述深度学习中常见的多个计算单元，包括各种注意力机制、线性循环网络、卷积网络及其他结构化算子。 在这个框架下，模型结构被编码为一种“基因组（Genome）”，涵盖了从底层特征化方式到高层骨架网络的多层级信息。STAR 的基因组设计具有良好的分层化和模块化特性，这意味着它可以更灵活地调整模型的各项参数，如模型质量和参数量、推理缓存大小以及延迟等多个相互冲突的指标，从而找到在这些目标之间达到最佳平衡的结构方案。此外，通过运用先进的优化算法，STAR 能对这些基因组进行迭代优化，具体操作包括评估（根据预定目标量化模型性能）、重组（结合最优父代模型的特征）和变异（引入随机变化以探索新的结构）等步骤。 在实际测试中，STAR 显示出强大的优化能力。无论是在纯模型质量优化、质量与参数量联合优化，还是在质量与缓存大小联合优化方面，7/8 的 STAR 进化架构在标准测试任务上都显著优于高度优化的 Transformer++ 和混合模型。值得注意的是，在保持质量的同时，参数量减少了高达 13%，而在优化质量和缓存大小时，7/8 的进化架构比混合模型小了 37%，比标准 Transformer 模型小了 90% 的缓存占用。 Hyena Edge 的设计充分利用了 STAR 框架的这些特点。团队首先从包含 16 种候选架构在内的初始种群开始，进行了 24 代的进化优化。其搜索空间设计非常丰富，包含了多种卷积算子的变形，主要受到 Hyena 模型结构的启发。Hyena Edge 不仅能够在资源受限的边缘设备上实现高效的运行，还具备出色的模型性能。 业内专家认为，Hyena Edge 的发布是边缘计算领域的一大突破，它展示了通过智能进化优化模型结构的巨大潜力，可能为未来的边缘计算应用开辟新的道路。随着物联网和 5G 技术的发展，边缘计算变得越来越重要，而 Hyena Edge 的出现无疑为提高边缘设备上的 AI 处理能力提供了有效的方法。Liquid AI 是一家专门从事人工智能研究的创新公司，致力于发展新一代 AI 技术，特别是在深度学习和自动化模型优化方面拥有突出贡献。