Récemment, les grands modèles de raisonnement ont fait preuve de capacités mathématiques et de programmation remarquables, et la recherche approfondie (deep search) exploite ces capacités de raisonnement pour des tâches exigeantes de récupération d'information. Les approches existantes de recherche approfondie sont généralement limitées à une seule source de connaissance, qu'elle soit locale ou provenant du Web. Toutefois, les entreprises ont souvent besoin de systèmes de recherche approfondie privés capables d'utiliser des outils de recherche sur des corpus à la fois locaux et web. Bien qu'une approche simple consistant à entraîner un agent doté de plusieurs outils de recherche par apprentissage par renforcement (RL) à plat paraisse évidente, elle présente des inconvénients tels qu'une faible efficacité de l'entraînement sur les données et une maîtrise insuffisante des outils complexes. Pour surmonter ce problème, nous proposons un cadre hiérarchique de recherche approfondie agente, appelé HierSearch, entraîné par apprentissage par renforcement hiérarchique (hierarchical RL). Au niveau inférieur, un agent de recherche approfondie local et un agent de recherche approfondie Web sont entraînés pour extraire des preuves dans leurs domaines respectifs. Au niveau supérieur, un agent planificateur coordonne les agents de bas niveau et fournit la réponse finale. En outre, afin d'éviter la copie directe des réponses et la propagation des erreurs, nous avons conçu un réfinateur de connaissance qui filtre les hallucinations et les preuves non pertinentes renvoyées par les agents de bas niveau. Les expérimentations montrent que HierSearch atteint des performances supérieures à celles du RL à plat, et surpasser plusieurs méthodes de recherche approfondie ainsi que des méthodes de génération augmentée par récupération multi-sources sur six benchmarks couvrant des domaines généraux, financiers et médicaux.