MIANet: Few-Shot 세그멘테이션을 위한 편향 없는 인스턴스 정보와 일반 정보의 집계

기존의 소수 샘플 분할 방법들은 메타학습 전략에 기반하여 지원 집합(지원 샘플 집합)으로부터 개체 지식을 추출한 후, 이를 쿼리 집합 내의 타깃 객체 분할에 적용한다. 그러나 이러한 방법은 지원 집합 내의 소수의 샘플로부터 추출된 지식이 클래스 내부의 변동성을 효과적으로 처리하기에는 부족하다는 한계를 지닌다. 이 문제를 해결하기 위해, 일반적인 지식(예: 의미적 단어 임베딩)과 개체 정보를 효과적으로 활용하여 정확한 분할을 수행할 수 있는 다중 정보 집약 네트워크(MIANet)를 제안한다. 구체적으로, MIANet에서는 단어 임베딩에서 일반적인 클래스 프로토타입을 추출하는 일반 정보 모듈(GIM)을 도입하여 개체 정보를 보완한다. 이를 위해, 일반 클래스 프로토타입을 앵커로 삼고, 지원 집합의 로컬 특징에서 양성-음성 쌍을 추출하는 트리플릿 손실을 설계하였다. 계산된 트리플릿 손실은 단어 임베딩 공간에서의 의미적 유사성을 시각적 표현 공간으로 전이할 수 있다. 또한, 학습 과정에서 이미 보인 클래스에 대한 모델 편향을 완화하고 다중 해상도 정보를 확보하기 위해, 비파라미터형 계층적 사전 정보 모듈(HPM)을 도입한다. 이 모듈은 지원 이미지와 쿼리 이미지의 특징 간 픽셀 단위 유사도를 계산하여 편향 없는 개체 수준의 정보를 생성한다. 마지막으로, 정보 융합 모듈(IFM)은 일반 정보와 개체 정보를 결합하여 쿼리 이미지에 대한 예측을 수행한다. PASCAL-5i 및 COCO-20i에서 실시한 광범위한 실험 결과, MIANet은 우수한 성능을 보이며 새로운 최고 성능(SOTA)을 달성하였다. 코드는 다음 주소에서 제공된다: https://github.com/Aldrich2y/MIANet.