Nous introduisons DeepSearchQA, un benchmark composé de 900 prompts destiné à évaluer les agents sur des tâches complexes à plusieurs étapes dans la recherche d'informations, couvrant 17 domaines distincts. Contrairement aux benchmarks traditionnels, axés sur la récupération d'une réponse unique ou sur la véracité à large échelle, DeepSearchQA propose un ensemble de tâches soigneusement conçues, exigeantes, visant à évaluer la capacité d’un agent à exécuter des plans de recherche complexes afin de produire des listes de réponses exhaustives. Ce changement de conception teste explicitement trois compétences cruciales, mais sous-évaluées : 1) la collecte systématique d’informations fragmentées provenant de sources disparates, 2) la suppression des doublons et la résolution d’entités pour garantir la précision, et 3) la capacité à raisonner sur les critères d’arrêt dans un espace de recherche ouvert. Chaque tâche est structurée comme une chaîne causale, dans laquelle l’acquisition d’informations à une étape dépend du succès de l’étape précédente, mettant ainsi en évidence la nécessité d’une planification à long terme et d’une bonne rétention de contexte. Toutes les tâches sont ancrées dans le web ouvert, avec des ensembles de réponses objectivement vérifiables. Notre évaluation approfondie des architectures d’agents les plus avancées révèle des limites importantes en performance : même les modèles les plus performants peinent à équilibrer une haute couverture (recall) et une grande précision. Nous observons des modes de défaillance distincts, allant de l’arrêt prématuré (sous-récupération) à des comportements de prudence, où les agents élargissent artificiellement leur champ de réponse avec des réponses peu fiables afin d’augmenter artificiellement le recall. Ces résultats mettent en évidence un important potentiel d’amélioration dans les conceptions actuelles d’agents et positionnent DeepSearchQA comme un outil diagnostique essentiel pour orienter la recherche future vers des capacités de recherche plus robustes et approfondies.