La segmentation sémantique faiblement supervisée (WSS) garantit une segmentation de haute qualité avec des données limitées et se distingue lorsqu'elle est utilisée comme masques de graines d'entrée pour les grands modèles de vision tels que Segment Anything. Cependant, la WSS rencontre des défis liés aux classes mineures, car celles-ci sont négligées dans les images contenant plusieurs classes adjacentes, une limitation qui découle du surapprentissage des méthodes traditionnelles d'expansion comme le Random Walk. Nous abordons ce problème en utilisant des cartes de caractéristiques non supervisées et faiblement supervisées au lieu des méthodologies conventionnelles, permettant ainsi une amélioration hiérarchique des masques. Cette méthode catégorise distinctement les classes de haut niveau et sépare ensuite leurs classes associées de bas niveau, assurant que toutes les classes soient correctement restaurées dans le masque sans perdre les classes mineures. Notre approche, validée par de nombreuses expériences, améliore considérablement la WSS sur cinq benchmarks (VOC : 79,8 %, COCO : 53,9 %, Contexte : 49,0 %, ADE : 32,9 %, Stuff : 37,4 %), réduisant l'écart avec les méthodes entièrement supervisées de plus de 84 % sur l'ensemble de validation VOC. Le code est disponible à l'adresse suivante : https://github.com/shjo-april/DHR.