FeatUp: 임의의 해상도를 위한 모델 독립적 프레임워크

깊은 특성(deep features)은 컴퓨터 비전 연구의 핵심 요소로, 이미지 의미론(semantics)을 포착하여 커뮤니티가 제로샷(zero-shot) 또는 소수 샷(few-shot) 환경에서도 하류 작업(downstream tasks)을 해결할 수 있게 합니다. 그러나 이러한 특성들은 분할(segmentation) 및 깊이 예측(depth prediction)과 같은 밀도 예측(dense prediction) 작업을 직접 수행하기에 충분한 공간 해상도(spatial resolution)를 종종 결여하고 있습니다. 이는 모델들이 큰 영역에서 정보를 적극적으로 풀링(pooling)하기 때문입니다.본 연구에서는 깊은 특성에서 손실된 공간 정보를 복원하는 작업 및 모델에 독립적인 프레임워크인 FeatUp을 소개합니다. 우리는 FeatUp의 두 가지 변형(variants)을 제안합니다: 하나는 단일 순방향 전달(single forward pass)에서 고해상도 신호(high-resolution signal)로 특성을 안내하는 방법이고, 다른 하나는 단일 이미지에 암시적 모델(implicit model)을 맞추어 임의의 해상도에서 특성을 재구성(reconstruct features at any resolution)하는 방법입니다. 두 접근 방식 모두 NeRFs와 유사한 다중 시점 일관성 손실(multi-view consistency loss)을 사용합니다.우리의 특성들은 원래의 의미론(semantics)을 유지하며, 재학습(re-training) 없이 기존 응용 프로그램에 삽입하여 해상도와 성능 향상을 가져올 수 있습니다. 우리는 FeatUp이 클래스 활성화 맵(class activation map generation), 분할 전송 학습(transfer learning for segmentation), 깊이 예측(transfer learning for depth prediction), 그리고 의미론적 분할(end-to-end training for semantic segmentation)을 위한 엔드투엔드 학습에서 다른 특성 확대(feature upsampling) 및 이미지 초고해상도(image super-resolution) 접근 방식들보다 현저히 우수함을 보여줍니다.