일반화된 소수 샘플 세그멘테이션을 위한 수직 프로토타입 학습

일반화된 소량 샘플 의미 분할(GFSS)은 기존 클래스와 새로운 클래스의 픽셀을 배경으로부터 동시에 구분하며, 기존 클래스에 충분한 데이터와 새로운 클래스의 소량 예시를 조건으로 한다. 전형적인 GFSS 접근 방식은 두 가지 학습 단계로 구성된다: 기존 클래스 학습 및 새로운 클래스 업데이트. 그러나 이러한 독립적인 업데이트 과정은 이미 잘 학습된 기존 클래스 특징을 손상시키는 경향이 있으며, 결과적으로 기존 클래스에 대한 성능 저하를 초래한다. 본 논문에서는 새로운 아이디어를 제안한다. 바로 직교 프로토타입에 대한 투영(Projection onto Orthogonal Prototypes, POP)을 활용하여, 새로운 클래스를 식별할 수 있도록 특징을 업데이트하면서도 기존 클래스의 성능을 훼손하지 않는 방식이다. POP은 각각이 의미적 클래스를 대표하는 직교 프로토타입의 집합을 구축하며, 각 클래스에 대한 예측은 해당 프로토타입에 투영된 특징을 기반으로 별도로 수행한다. 기술적으로 POP은 먼저 기존 데이터를 기반으로 프로토타입을 학습한 후, 이를 새로운 클래스로 확장한다. POP의 직교 제약 조건은 학습된 프로토타입 간의 직교성을 유도함으로써, 새로운 프로토타입으로 일반화할 때 기존 클래스 특징에 미치는 영향을 완화한다. 더불어, 특징 투영의 잔차(residual)를 배경 표현으로 활용하여, 업데이트 단계에서 발생할 수 있는 의미적 변화(즉, 배경이 더 이상 새로운 클래스의 픽셀을 포함하지 않음)에 동적으로 대응한다. 두 가지 벤치마크에서 실시한 광범위한 실험 결과, 본 연구의 POP은 기존 클래스의 정확도를 크게 희생시키지 않으면서도 새로운 클래스에서 우수한 성능을 달성함을 입증하였다. 특히, 5샷 시나리오에서 PASCAL-5i 데이터셋에서 기존 최고 성능의 미세조정(fine-tuning) 기법보다 전반적인 mIoU에서 3.93% 높은 성능을 기록하였다.