깊은 특성의 비합리적인 효과성: 지각 측정 기준으로서의 활용

인간이 두 이미지 간의 지각적 유사성을 빠르게 평가하는 것은 거의 노력 없이 이루어질 수 있지만, 그 밑바닥 과정은 매우 복잡하다고 여겨집니다. 그럼에도 불구하고, 현재 가장 널리 사용되는 지각적 측정 방법인 PSNR 및 SSIM과 같은 방법들은 단순하고 얕은 함수이며, 인간의 지각에 대한 많은 미묘한 차이를 고려하지 못합니다. 최근에 딥러닝 연구 커뮤니티는 ImageNet 분류를 위해 훈련된 VGG 네트워크의 특성이 이미지 합성의 훈련 손실로 매우 유용하다는 것을 발견했습니다. 하지만 이러한 "지각적 손실"들이 얼마나 지각적인가? 그들의 성공을 위한 중요한 요소는 무엇인가? 이러한 질문들을 해결하기 위해 우리는 새로운 인간 지각적 유사성 판단 데이터셋을 소개합니다. 우리는 다양한 아키텍처와 작업에서 딥 특성을 체계적으로 평가하고, 이를 전통적인 측정 방법들과 비교합니다. 결과적으로, 딥 특성이 우리의 데이터셋에서 이전 모든 측정 방법보다 크게 우수함을 확인하였습니다. 더욱 놀랍게도, 이 결과는 ImageNet으로 훈련된 VGG 특성에만 국한되지 않고, 다른 딥 아키텍처와 감독 수준(감독학습, 자기감독학습, 또는 비감독학습)에서도 동일하게 나타났습니다. 우리의 연구 결과는 지각적 유사성이 다양한 딥 시각 표현 사이에서 공유되는 부상하는 특성임을 제시합니다.