DHR: 클래스 간 및 클래스 내 영역에서 이중 특성 기반 계층적 재균형화를 통한 약간의 지도를 받은 의미 분할

약한 지도 하의 의미 분할(Weakly-supervised Semantic Segmentation, WSS)은 제한된 데이터로 고품질의 분할을 보장하며, 대규모 비전 모델인 Segment Anything과 같은 모델에 입력 시드 마스크로 사용될 때 뛰어난 성능을 발휘합니다. 그러나 WSS는 인접한 여러 클래스가 있는 이미지에서 소수 클래스가 간과되는 문제를 가지고 있으며, 이는 Random Walk와 같은 전통적인 확장 방법의 과적합으로부터 기인합니다. 우리는 먼저 감독되지 않은 및 약하게 감독된 특징 맵을 사용하여 이러한 문제를 해결함으로써 계층적인 마스크 향상을 가능하게 합니다. 이 방법은 고차원 클래스를 명확히 구분하고 그 다음에 연관된 저차원 클래스를 분리하여, 마스크 내에서 모든 클래스가 올바르게 복원되도록 하면서 소수 클래스를 잃지 않습니다. 우리의 접근 방식은 광범위한 실험을 통해 검증되었으며, 다섯 개의 벤치마크(VOC: 79.8%, COCO: 53.9%, Context: 49.0%, ADE: 32.9%, Stuff: 37.4%)에서 WSS의 성능을 크게 향상시키며, VOC 검증 세트에서는 완전히 감독된 방법과의 차이를 84% 이상 줄였습니다. 코드는 https://github.com/shjo-april/DHR에서 확인할 수 있습니다.