쿼터니언 값 상관 학습을 활용한 소수 샘플 세그멘테이션

소수 샘플 분할(Few-shot segmentation, FSS)은 보기 드문 클래스에 대해 단지 몇 개의 레이블링된 샘플만을 제공받아도 해당 클래스를 분할하는 것을 목표로 한다. 기존의 충분한 학습 샘플을 가진 기초 클래스(base classes)로부터 학습된 의미적 특징을 활용함으로써 FSS 분야에서는 긍정적인 진전이 이루어져 왔다. 그러나 기존의 상관관계 기반 방법은 실수값 2차원 합성곱의 본질적인 특성으로 인해 두 하위공간 매칭 점수 간의 상호작용을 고려할 수 없는 한계를 지닌다. 본 논문에서는 상관관계 학습에 퀘aternion(사원수) 관점을 도입하고, 고차원 상관관계 텐서의 계산 부담을 완화하며, 기존의 퀘aternion 대수에 기반한 연산을 활용하여 쿼리 이미지와 서포트 이미지 간의 내부 잠재적 상호작용을 탐색하는 새로운 퀘aternion값 상관관계 학습 네트워크(Quaternion-valued Correlation Learning Network, QCLNet)를 제안한다. 구체적으로, 본 QCLNet은 하이퍼-복소수값 네트워크로 구성되어 있으며, 상관관계 텐서를 퀘aternion 도메인에서 표현한다. 이는 퀘aternion값 합성곱을 통해 서포트 하위차원의 은닉된 관계를 고려하면서 쿼리 하위공간 간의 외부 관계를 탐색하는 데 기여한다. PASCAL-5i 및 COCO-20i 데이터셋에서 실시한 광범위한 실험 결과, 제안한 방법이 기존 최고 성능 기법들을 효과적으로 초월함을 입증하였다. 본 연구의 코드는 https://github.com/zwzheng98/QCLNet 에 공개되었으며, 논문 "Quaternion-valued Correlation Learning for Few-Shot Semantic Segmentation"은 IEEE Transactions on Circuits and Systems for Video Technology, Vol. 33, No. 5, pp. 2102–2115, May 2023, doi: 10.1109/TCSVT.2022.3223150 에 게재되었다.