TOPIQ: 이미지 품질 평가를 위한 의미에서 왜곡으로의 상향식 접근법

이미지 품질 평가(Image Quality Assessment, IQA)는 컴퓨터 비전 분야에서 핵심적인 과제로, 심층 신경망의 발전으로 인해 놀라운 진전을 이루었다. 기존의 방법들은 인간 시각 시스템의 특성을 영감으로 삼아 전역적 표현과 국소적 표현(즉, 다중 스케일 특징)의 조합을 활용하여 우수한 성능을 달성하고 있다. 그러나 대부분의 기존 방법들은 다중 스케일 특징을 단순한 선형 병합 방식으로 처리하며, 그들 간의 복잡한 관계와 상호작용을 간과하고 있다. 반면 인간은 보통 먼저 전반적인 인상을 형성하여 중요한 영역을 식별한 후, 해당 영역의 국소적 세부 정보에 집중한다. 본 연구에서는 이러한 인지적 과정을 모방하여, 고수준의 의미 정보를 활용해 IQA 네트워크가 의미적으로 중요한 국소적 왜곡 영역에 주목하도록 유도하는 상향식(top-down) 접근법을 제안한다. 이를 \emph{TOPIQ}라 명명한다. 본 연구의 핵심은 다중 스케일 특징을 활용하면서도, 상향식으로 고수준의 의미 정보를 저수준 표현에 점진적으로 전파하는 힌트 기반의 계층적 세부화 네트워크(CFANet) 설계이다. 본 방법의 핵심 구성 요소로는 고수준 특징에 의해 유도되는 하위 수준 특징에 대한 주의 맵(attention map)을 계산하는 다중 스케일 주의 메커니즘을 제안한다. 이 메커니즘은 저수준 왜곡에 대해 의미적으로 중요한 영역을 강조함으로써 전체 성능을 향상시킨다. CFANet는 전반 참조(Full-Reference, FR) 및 무참조(No-Reference, NR) IQA 모두에 적용 가능하다. 백본으로 ResNet50을 사용하여, 현재 최고 수준의 비전 트랜스포머 기반 방법들과 비교해 대부분의 공개 FR 및 NR 벤치마크에서 더 우수하거나 경쟁 가능한 성능을 달성함과 동시에, 매우 높은 효율성을 보였다(현재 최고의 FR 방법 대비 약 13%의 FLOPS만을 사용). 코드는 \url{https://github.com/chaofengc/IQA-PyTorch}에서 공개된다.