Volga 按需计算层在 EKS 上实现实时特征服务：性能测试展示强大可扩展性和低延迟表现

近日，一个团队对Volga的数据处理系统进行了详尽的基准测试，该系统专门用于现代AI/ML流水线中的实时特征工程。测试的重点是Volga的按需计算层（On-Demand Compute Layer），这一核心组件负责实时请求时的特征计算和服务。测试在Amazon EKS（Elastic Kubernetes Service）集群上部署，并使用了Ray框架进行任务编排。 测试使用的环境包括t2.medium实例（2个虚拟CPU，4 GB内存），分别运行Load Testing工具Locust和Ray集群。整个系统背后是由AWS Application Load Balancer作为主要入口，将请求路由到各个节点上的Volga Pod中执行。实验设计中，每个Ray Pod映射到一个单独的EKS节点，确保资源隔离。 为了验证系统的性能和扩展能力，团队模拟了一个简单的实时特征管道，它通过来源数据流生成特征，并在请求时进行简单的线性转换。在这些测试中，Redis被选作存储层，因为其简单性和高性能，尽管在生产环境中推荐使用ScyllaDB、Cassandra或DynamoDB这样的存储系统来提高数据的持久性和一致性。 基准测试的结果表明，Volga的按需计算层在最大配置80个工作单元的情况下表现出色，能够支持高达25,000的每秒请求数（RPS）。即使在高负载下，95%的请求完成时间仍保持在较低水平，大约30毫秒内完成，最长的一个请求也没有超过50毫秒。随着工作单元数量的增加，系统的可持续RPS也相应增加，说明了其良好的横向扩展能力。 在不同规模的工作单元配置下，测试显示系统具有稳定的性能表现，尤其是从4个扩展到80个工作单元的过程中，请求处理能力和延迟得到了显著优化。这意味着Volga的按需计算层不仅能够处理突发的高流量，还能随着需求的变化灵活调整资源，保证了高效的实时特征服务。 除了性能方面，团队还监测了容器的CPU利用率，确保节点资源得到了充分的利用。测试结果证明了Volga架构的稳健性和灵活性，特别是在动态负载条件下，系统的性能表现令人印象深刻。 总结来看，Volga的按需计算层为构建实时AI/ML特征工程流水线提供了一个强大的解决方案。它可以显著减少自定义粘合代码、临时数据模型和手动API抽象的需求，帮助企业更高效地处理和分析实时数据。测试展示了其在低延迟特征服务方面的强大能力，尤其是在大规模部署时的横向扩展优势。对于希望深入了解或贡献代码的读者，可以访问Volga的GitHub仓库。 业内专家认为，Volga的按需计算层在实时数据处理领域具有重要的创新意义，其高效的横向扩展能力和低延迟特性使其成为构建现代人工智能应用的理想选择。Volga系统由一群在分布式计算和机器学习领域有着丰富经验的工程师开发，旨在解决实际应用中常见的数据处理瓶颈问题。