HyperAIHyperAI

Command Palette

Search for a command to run...

基准
LLM

OpenJev:浏览器端本地运行AI决策模型

近日,开源社区推出OpenJev项目,成功实现人工智能决策模型在浏览器端的本地化运行。该实验性平台无需后端服务器支持,用户只需配备本地GPU即可在网页中直接调用模型。所有权重均源自Hugging Face并缓存于本地,用户输入数据全程不离开页面,彻底保障隐私与低延迟。项目核心创新在于提供两种并行推理路径:其一为直接读取模型对预设选项的概率分布并标准化输出;其二为生成模式,要求模型逐词元输出概率JSON文本,以便开发者观测推理过程与耗时。目前平台默认搭载MiniCPM5 2B模型,支持按需切换至Qwen3 0.6B或Qwen3.5 4B版本以适配不同硬件。基准测试显示,经量化处理的浏览器端模型表现稳健,4B版本决策准确率达81.3%,与官方服务器基线88.3%差距显著缩小。该成果充分验证了轻量级决策模型在纯前端环境下的可行性,为无后端依赖的隐私计算与边缘智能部署提供了技术新范式。

相关链接