HyperAIHyperAI

Command Palette

Search for a command to run...

AI助手记忆方案评测:全量上下文性价比最低

在记忆成为AI助手核心能力的当下,新基准DolphinBench把评测重点从“能否复述旧信息”转向“能否依据记忆完成任务”。该基准由Mem0于2026年9月下旬发布,设置三位模拟人物、每人约50万token对话记录和200项任务,要求系统在包含相关历史时成功执行、缺少记忆时失败,并同步报告成本与时间。Mem0的自家记忆系统在官方公告中给出70.67%的领先成绩。 围绕这一议题,一项小型独立测试选择OpenAI的GPT-4o mini与Anthropic的Claude Haiku 4.5,基于一名虚构项目经理约4万token聊天记录和30项工具调用任务,比较无记忆、持续摘要、检索增强和完整历史四种记忆设计。结果显示,无记忆设计两项模型均无法完成任务,验证了任务对历史信息的依赖;持续摘要在部分场景可用但会丢失更新事实;检索增强在GPT-4o mini上完成88.9%任务,并显著低于完整历史成本;完整历史虽问答正确率高,但任务完成率仅58.3%,且旧信息覆盖新事实的问题最突出。 测试还显示,30项任务的运行成本差距最高达31倍,完整历史明显更贵且并未带来最高执行准确率。这意味着,企业配置AI助手时不能只追求模型“记住更多”,而应关注记忆是否能在正确时点转化为行动。检索增强在准确率、成本和更新鲁棒性之间表现更平衡,可能成为个人与中小企业搭建可执行型AI助手的优先方案。

相关链接