Assistants IA : la mémoire ciblée surpasse l'historique

Un nouveau banc d'essai, DolphinBench, développé par Mem0 et présenté fin septembre 2026, cherche à mesurer si la mémoire d'un assistant artificiel améliore réellement son exécution des tâches, au-delà de la simple capacité à restituer une information. Contrairement aux tests traditionnels, qui posent des questions directement sur des faits mémorisés, DolphinBench confie des missions concrètes, comme commander un café ou planifier une réunion, et vérifie que les bonnes informations ont été utilisées. Le benchmark utilise trois profils simulés disposant chacun d'environ 500 000 jetons de conversation, une unité mesurant la quantité de texte traitée par un modèle, et de 200 tâches. Les évaluations tiennent aussi compte du coût et du temps de traitement, tandis que Mem0 affiche un score maximal de 70,67 % sur cette plateforme. Parallèlement, un test indépendant a comparé quatre méthodes de mémoire sur un historique fictif de 40 000 jetons, soit environ un an d'échanges d'un chef de projet, avec 30 tâches et 30 questions portant sur les mêmes faits. Les modèles GPT-4o mini d'OpenAI et Claude Haiku 4.5 d'Anthropic ont été évalués sur 1 260 exécutions. Les configurations comprenaient l'absence de mémoire, un résumé continu, la recherche de passages pertinents et l'injection de tout l'historique dans chaque requête. Les résultats montrent qu'un assistant peut très bien répondre à une question et échouer dans une tâche. Avec tout l'historique, GPT-4o mini a obtenu 97 % de bonnes réponses aux questions, mais seulement 58 % des tâches correctement exécutées. La méthode de recherche, qui ne fournit que les fragments utiles, a atteint 89 % de réussite sur les tâches avec GPT-4o mini et 85,6 % avec Claude Haiku 4.5. Elle s'est révélée nettement plus économique que l'injection complète de l'historique, qui a coûté 20 à 31 fois plus cher. Le résumé continu a affiché des limites différentes : GPT-4o mini a réussi 70 % des tâches, mais seulement 63 % des questions, tandis que Claude Haiku 4.5 a obtenu 67,8 % et 86,7 %. La recherche a surtout échoué lorsqu'elle n'a pas retrouvé les bons extraits, mais elle a très bien fonctionné dès que les informations pertinentes étaient disponibles. Les corrections d'information ont aussi révélé une faiblesse notable : avec tout l'historique, les modèles pouvaient privilégier une ancienne valeur plutôt qu'une mise à jour plus récente. L'absence de mémoire n'a permis à aucun modèle de réussir une tâche, confirmant que les tests exigeaient bien des données personnelles. Enfin, plusieurs configurations ont montré que savoir une information ne garantit pas de l'utiliser au bon moment dans une action concrète. Ces résultats ne doivent pas être généralisés trop rapidement, car ils reposent sur un ensemble limité de tâches et d'historiques simulés. Ils suggèrent toutefois que le choix d'un système de mémoire ne doit plus être évalué seulement sur la restitution de faits, mais aussi sur l'utilité réelle, le coût et la robustesse face aux informations mises à jour. Dans ce contexte, la recherche sélective apparaît comme un compromis attractif, souvent plus fiable et moins coûteux que l'injection complète de l'historique.