AllSpark: 변형기에서 라벨이 없는 데이터로부터 라벨이 있는 특성 재생성하기 위한 반지도 의미 분할

반감독 의미 분할(Semi-supervised semantic segmentation, SSSS)은 시간이 많이 소요되는 픽셀 단위 수동 라벨링의 부담을 완화하기 위해 제안되었습니다. 이 방법은 제한된 라벨링 데이터와 더 많은 양의 비라벨링 데이터를 활용합니다. 현재 최신 방법들은 라벨링 데이터를 실제값(ground truths)으로, 비라벨링 데이터를 가짜 라벨(pseudo labels)로 학습시킵니다. 그러나 두 학습 과정은 분리되어 있어, 라벨링 데이터가 학습 과정을 주도하게 되어 낮은 품질의 가짜 라벨이 생성되고 그 결과 최적의 성능을 내지 못하는 경우가 많습니다.이 문제를 해결하기 위해, 우리는 채널별 크로스 어텐션 메커니즘(channel-wise cross-attention mechanism)을 사용하여 비라벨링 특징에서 라벨링 특징을 재생성하는 AllSpark를 소개합니다. 또한, 의미 메모리(Semantic Memory)와 채널 의미 그룹화 전략(Channel Semantic Grouping strategy)을 도입하여 비라벨링 특징이 충분히 라벨링 특징을 대표하도록 합니다. AllSpark는 프레임워크 수준이 아닌 아키텍처 수준에서 SSSS 설계에 새로운 방향성을 제시하며, 점점 복잡해지는 학습 파이프라인 설계를 피할 수 있습니다. 또한, 일반적인 트랜스포머 기반 분할 모델에 원활하게 통합될 수 있는 유연한 병목 모듈(bottleneck module)으로도 간주될 수 있습니다.제안된 AllSpark는 Pascal, Cityscapes 및 COCO 벤치마크에서 모든 평가 프로토콜에서 기존 방법들을 능가하며, 복잡한 추가 기법 없이도 우수한 성능을 보여줍니다. 코드와 모델 가중치는 다음 링크에서 확인할 수 있습니다: https://github.com/xmed-lab/AllSpark.