Hugging Face发布200余个WebGPU内核,加速本地AI推理
Hugging Face近期正式发布@huggingface/kernels库及首批207个优化版WebGPU计算核,旨在大幅提升浏览器端本地AI推理性能与易用性。WebGPU虽提供跨平台API,但实际执行效率受硬件、浏览器驱动及底层实现影响较大。为此,Hugging Face将每个计算核封装为独立版本仓库,包含接口说明、着色器模板、正确性与基准测试用例,开发者可通过JavaScript直接调用并自动适配张量形状与数据类型。同时,团队推出Fleet浏览器内嵌GPU性能评测工具,允许用户贡献本地硬件的跑分与正确性数据,形成覆盖真实设备的众包测试网络,以持续优化内核调度与变体选择。基准测试显示,相较于ORT WebGPU,该批次内核在多项常见操作上实现显著加速,几何平均提速约2.57倍,中位数提速1.90倍,部分复杂算子性能提升逾万倍。所有内核均采用Apache-2.0协议开源,并融入Hugging Face Hub多平台内核生态。此举为浏览器端AI推理奠定了可复用、可验证的底层基础,上层运行时可在此基础上独立迭代。未来,该团队将持续扩充算子覆盖范围,推动内核成果反向贡献至ONNX Runtime Web生态,加速全平台WebAI技术落地。
此资讯由 AI 智能聚合生成,旨在高效传递行业动态,不代表任何观点或建议。
