HyperAIHyperAI

Command Palette

Search for a command to run...

Tensormesh 获 450 万美元融资,加速提升 AI 服务器推理效率

随着AI基础设施投入不断攀升,如何在现有GPU资源上最大化推理效率,已成为行业核心挑战。在此背景下,初创公司Tensormesh本周宣布完成450万美元种子轮融资,正式从隐匿状态亮相。本轮融资由Laude Ventures领投,数据库先驱Michael Franklin等天使投资人跟投。 Tensormesh的使命是将由其联合创始人Yihua Cheng开发并维护的开源工具LMCache,升级为商业化产品。LMCache能将AI模型推理成本降低高达10倍,已广泛应用于开源AI项目,并获得谷歌、英伟达等科技巨头的集成支持。 其核心技术在于“键值缓存”(KV Cache)——一种用于高效处理复杂输入的内存机制。传统架构中,每次查询结束后,KV Cache都会被清空,导致大量已处理信息被浪费。Tensormesh联合创始人兼CEO江俊晨指出:“这就像一个非常聪明的分析师,每次问完问题就忘记之前学过的内容。” 他强调,这种设计造成了巨大的资源浪费。 Tensormesh的解决方案是将KV Cache持久化存储于二级存储系统中,当后续查询出现相似逻辑时,可直接复用缓存数据,从而大幅提升推理效率。尽管GPU内存极为宝贵,但通过分层存储策略,系统仍能保持高性能运行。 这一技术对聊天界面和智能体系统尤为关键,因为它们需要持续参考不断增长的对话或操作日志。虽然理论上企业可自行开发此类系统,但技术复杂度极高,往往需要数十名工程师投入数月时间。而Tensormesh的目标正是提供开箱即用的高效方案,帮助企业快速实现性能跃升。 “在不拖慢整体系统的情况下,高效复用KV缓存是一个极难的问题,”江俊晨表示,“我们看到有人组建20人团队花三四个月才搞定,而使用我们的产品,效率会高得多。”

相关链接