특이값 미세조정: 소량 샘플 세그멘테이션은 소수의 파라미터를 가진 미세조정을 필요로 한다

사전 훈련된 백본(Backbone)을 고정하는 것은 소수 샘플 분할(few-shot segmentation)에서 과적합(overfitting)을 방지하기 위한 표준적인 접근 방식이 되었다. 본 논문에서는 이러한 기존 패러다임을 다시 고민하며, 새로운 접근 방식을 탐색한다: 백본 내 일부 파라미터만을 미세 조정(fine-tuning)하는 것이다. 우리는 과적합 문제를 해결할 수 있는 해결책을 제안하며, 새로운 클래스를 학습할 때 모델의 일반화 성능을 향상시킨다. 제안하는 방법은 특이값 분해(Singular Value Decomposition, SVD)를 통해 백본 파라미터를 세 개의 연속적인 행렬로 분해한 후, 오직 특이값(singular values)만을 미세 조정하고 나머지 파라미터는 고정한다. 이러한 설계는 사전 훈련된 백본 내부의 의미적 단서를 유지하면서도, 새로운 클래스에 대한 특징 표현을 조정할 수 있도록 한다. 우리는 다양한 백본을 사용하는 여러 소수 샘플 분할 방법에 대해 제안한 ‘특이값 미세 조정(Singular Value Fine-tuning, SVF)’ 방법을 평가하였다. 1샷 및 5샷 설정에서 Pascal-5$^i$와 COCO-20$^i$ 모두에서 최신 기준(SOTA) 성능을 달성하였다. 이 간단한 베이스라인은 연구자들이 소수 샘플 환경에서 백본 미세 조정의 역할을 다시 생각하도록 유도하기를 기대한다. 소스 코드와 모델은 https://github.com/syp2ysy/SVF 에서 공개될 예정이다.