17일 전

특성 도메인 적응형 대비 증류를 통한 효율적인 단일 이미지 초해상도 복원

HyeonCheol Moon, JinWoo Jeong, SungJei Kim
특성 도메인 적응형 대비 증류를 통한 효율적인 단일 이미지 초해상도 복원
초록

최근 컨볼루션 신경망 기반의 고해상도 이미지 복원(SISR) 기법은 더 나은 성능을 달성하기 위해 방대한 수의 파라미터와 높은 계산 비용을 요구하며, 모바일과 같은 자원 제약이 있는 장치에의 적용 가능성을 제한하고 있다. 이러한 문제를 해결하기 위한 방법 중 하나로, 교사 모델의 유용한 지식을 학생 모델로 전달하는 지식 증류(Knowledge Distillation, KD) 기법이 주목받고 있다. 특히 최근의 SISR를 위한 KD는 교사와 학생 네트워크 간의 특징 맵(feature map) 간 유클리드 거리 손실(Euclidean distance loss)을 최소화하는 특징 증류(Feature Distillation, FD)를 활용하고 있으나, 주어진 네트워크 용량 제약 조건 하에서 교사 모델로부터 학생 모델로 지식을 효과적이고 의미 있게 전달하는 방식에 대해 충분히 고려하지 못하고 있다. 본 논문에서는 경량화된 학생 SISR 네트워크를 효율적으로 훈련하기 위한 특징 도메인 기반 적응형 대비 증류(FACD, Feature-domain Adaptive Contrastive Distillation) 방법을 제안한다. 기존의 유클리드 거리 손실 기반 FD 방법의 한계를 분석하고, 특징 도메인에서 교사 모델의 표현에서 더 풍부한 정보를 학습할 수 있도록 하는 특징 도메인 대비 손실(feature-domain contrastive loss)을 제안한다. 또한, 훈련 패치의 조건에 따라 증류를 선택적으로 적용하는 적응형 증류 기법을 도입한다. 실험 결과, 제안한 FACD 기법을 적용한 학생 EDSR 및 RCAN 네트워크는 기존의 FD 방법에 비해 전반적인 벤치마크 데이터셋과 다양한 확대 스케일에서 PSNR 성능뿐 아니라 주관적 이미지 품질에서도 유의미한 개선을 보였다.

특성 도메인 적응형 대비 증류를 통한 효율적인 단일 이미지 초해상도 복원 | 최신 연구 논문 | HyperAI초신경