AIアシスタントの記憶4方式を検証、検索が最適

人工知能アシスタントの記憶機能の実用性を巡り、Mem0が関わる新ベンチマークDolphinBenchと、それとは独立した小規模検証が2026年9月に注目された。DolphinBenchは、過去の事実を単に答えさせる従来の記憶試験ではなく、注文や予定作成などのタスクを通じて、記憶が実際の行動に役立つかを検証する。3人の架空人物に対し、約50万トークンの会話履歴と200タスクを用意し、関連履歴がある場合の成功と、ない場合の失敗を比較する。正確性だけでなく、実行コストと時間も報告対象とする。Mem0側の発表では、Mem0の記憶構成がタスク成功率70.67パーセントで最高を記録した。 一方、開発者による独自検証では、架空のプロジェクトマネージャーに関する約4万トークンの履歴と30タスクを使い、OpenAIのGPT-4o miniとAnthropicのClaude Haiku 4.5で四つの記憶設計を比較した。記憶を与えない方式では全タスクが失敗し、タスク遂行に記憶が不可欠であることが確認された。最も費用対効果が高かったのは検索方式で、必要に応じて関連断片を取り出す設計が最も高いタスク成功率を記録した。GPT-4o miniでは88.9パーセント、Claudeでは85.6パーセントに達した。 対照的に、全履歴を毎回入力する方式は、質問には強いが行動には弱い傾向を示した。GPT-4o miniでは質問に97パーセント正答した一方、タスク成功は58.3パーセントにとどまり、実行コストは検索方式の20倍から31倍かかった。全履歴は古い情報と更新後の情報が併存するため、事後的に訂正された事実で失敗が増え、旧情報に基づく誤った行動が生じた。検索方式は対象断片を正しく取り出せた場合に強く、取り落としがあると途端に失敗する点で異なる課題がある。 両検証に共通する示唆は、記憶の存在と記憶の活用が一致しないことである。質問に正しく答えられるアシスタントでも、実際に行動させる際には古い情報を使う、実行せず質問を返す、日付や曜日を取り違えるといった失敗が起きた。開発環境ではWeights & Biasesで実験記録を残し、正しい行動と誤った行動を比較できるようにした。 今回の結果は個人規模の試験であり、すべてのアシスタントに当てはまるわけではない。それでも、記憶の設計を選ぶ際は回答精度より、タスク遂行性能、更新対応、実行コスト、遅延を同時に評価すべきことを示した。開発者は自社の会話履歴と実タスクで、全履歴、要約、検索、無記憶を比較し、訂正情報を組み込んで検証することが望ましい。