이미지 슈퍼리졸루션을 위한 데이터 업사이클링 지식 증류

지식 증류(Knowledge Distillation, KD)는 복잡한 사전 훈련된 교사 모델에서 작고 효율적인 학습자 모델로 작업에 관련된 지식을 전달함으로써 깊은 신경망을 압축하는 기법이다. 그러나 현재 초해상도(Super-Resolution, SR) 네트워크를 위한 KD 기법들은 교사 모델의 출력이 고화질 이미지의 참값(Ground-Truth, GT) 분포에 대한 노이즈가 포함된 근사치라는 SR 작업의 본질을 간과하고 있다. 이로 인해 교사 모델의 지식이 왜곡되며, 결과적으로 KD의 효과가 제한된다. 본 논문에서는 교사 모델의 지식을 참값 상한선(GT upper-bound)을 초월하여 활용할 수 있도록, 훈련 데이터로부터 유도된 도메인 내(upcycled in-domain) 데이터를 활용하여 학습자 모델로 지식을 전달하는 '데이터 업사이클링 지식 증류(Data Upcycling Knowledge Distillation, DUKD)' 기법을 제안한다. 또한, 짝지어진 역변환 가능한 증강 기법을 활용하여 학습자 모델의 레이블 일관성 정규화를 도입함으로써, 학습자 모델의 성능과 내구성을 향상시킨다. 광범위한 실험을 통해 DUKD 방법이 여러 SR 작업에서 기존 최고 성능 기법들을 뛰어넘는 우수한 성능을 보임을 입증하였다.