NVIDIA GPU加速的Sirius刷新ClickBench性能新纪录
NVIDIA与威斯康星大学麦迪逊分校合作,推出基于GPU加速的开源数据处理引擎Sirius,成功在ClickBench基准测试中创下新纪录。Sirius是为DuckDB打造的GPU原生执行后端,通过复用DuckDB成熟的查询解析、优化器和扫描算子等核心模块,同时利用NVIDIA CUDA-X库实现GPU加速,实现了高效、低侵入式的性能提升。 Sirius作为DuckDB的扩展,无需修改其代码库,仅需少量接口调整即可实现“即插即用”的GPU加速。它接收DuckDB优化后的查询计划,以Substrait通用格式进行交互,确保与多种数据系统兼容。在执行过程中,Sirius将表扫描结果从DuckDB格式转换为与Apache Arrow对齐的GPU数据格式,并通过零拷贝方式映射到cuDF的table结构,使后续的聚合、投影、连接等SQL操作在GPU上以cuDF原语高速执行。计算完成后,结果再回传至CPU,转换为DuckDB标准输出格式,用户获得极致速度与一致体验。 在Lambda Labs的NVIDIA GH200 Grace Hopper超级芯片实例(每小时1.5美元)上,Sirius的性能远超其他系统。与AWS上价格更高(7.3至9.8美元/小时)的CPU实例相比,Sirius在ClickBench测试中不仅跑出最低的相对运行时间,更实现至少7.2倍的成本效益提升。在多数查询中,如q4、q5和q18,Sirius凭借GPU并行能力在过滤、投影和聚合操作上表现突出。 针对复杂查询q28(正则表达式匹配),Sirius采用cuDF的JIT编译字符串转换框架,将正则操作分解为标准字符串操作,融合成单一高效内核,实现13倍性能提升,GPU线程束利用率从32%提升至85%,显著优化了资源利用。 未来,NVIDIA与威斯康星大学将围绕“模块化、可互操作、可组合、可扩展”(MICE)原则,开发通用GPU数据处理基础组件,推动整个开源生态的GPU化演进。Sirius以Apache-2.0开源协议发布,欢迎全球研究者与开发者共同参与,共建GPU时代下的新一代数据分析基础设施。
