SAPA: 유사성 인식 포인트 속성 할당을 통한 특징 업샘플링

우리는 특성 업샘플링에 점 소속(point affiliation) 개념을 도입합니다. 이 개념은 각 업샘플링된 점이 의미적으로 유사한 로컬 디코더 특성점들이 형성하는 의미 클러스터에 속하는 정도를 설명합니다. 점 소속 개념을 재고함으로써, 우리는 업샘플링 커널을 생성하기 위한 일반적인 공식을 제시합니다. 이러한 커널은 업샘플링된 특성 맵에서 의미적 부드러움뿐만 아니라 경계의 선명성을 강화합니다. 이러한 성질은 의미 분할과 같은 일부 밀집 예측 작업에 특히 유용합니다. 우리의 공식의 핵심 아이디어는 각 인코더 특성점과 공간적으로 연관된 디코더 특성들의 로컬 영역 간의 유사성을 비교하여 유사성 인지 커널(similarity-aware kernels)을 생성하는 것입니다. 이렇게 하면 인코더 특성점은 업샘플링된 특성점들의 의미 클러스터를 안내하는 단서로 기능할 수 있습니다.이 공식을 구현하기 위해, 우리는 경량 업샘플링 연산자인 유사성 인지 점 소속(Similarity-Aware Point Affiliation, SAPA)을 제안하고 그 변형들을 조사하였습니다. SAPA는 의미 분할, 객체 검출, 깊이 추정, 이미지 매팅 등 여러 밀집 예측 작업에서 일관된 성능 향상을 가져옵니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/poppinace/sapa