17일 전

조건부 목표를 활용한 유연한 스타일 이미지 슈퍼리졸루션

Seung Ho Park, Young Su Moon, Nam Ik Cho
조건부 목표를 활용한 유연한 스타일 이미지 슈퍼리졸루션
초록

최근 연구들은 합성곱 신경망(CNN)을 활용하여 단일 이미지 초해상도(SR) 성능을 크게 향상시켰다. 주어진 입력에 대해 여러 가지 고해상도(HR) 해를 얻을 수 있지만, 기존의 대부분의 CNN 기반 방법들은 추론 단계에서 대안적인 해를 탐색하지 않는다. 대안적인 SR 결과를 얻는 전형적인 접근법은 다양한 손실 가중치를 사용해 여러 SR 모델을 학습한 후, 이들 모델의 조합을 활용하는 것이다. 다수의 모델을 사용하는 대신, 우리는 다중 작업 학습(multi-task learning)의 장점을 활용하여 다양한 손실 조합에 대해 단일 조정 가능한 SR 모델을 훈련하는 더 효율적인 방법을 제안한다. 구체적으로, 훈련 과정에서 조건부 목적함수를 최적화하는 방식으로 SR 모델을 학습하며, 이 목적함수는 다양한 특징 수준에서의 다수의 인지적 손실(perceptual losses)의 가중합으로 구성된다. 가중치는 주어진 조건에 따라 변화하며, 이러한 가중치 집합을 스타일 컨트롤러(style controller)로 정의한다. 또한, 이러한 훈련 방식에 적합한 아키텍처를 제안하는데, 공간적 특징 변환층(spatial feature transformation layers)을 갖춘 잔차-잔차 밀집 블록(Residual-in-Residual Dense Block)을 사용한다. 추론 단계에서는 훈련된 모델이 스타일 제어 맵(style control map)에 따라 국소적으로 다른 출력을 생성할 수 있다. 광범위한 실험 결과는 제안된 SR 모델이 아티팩트 없이 다양한 바람직한 재구성 결과를 생성하며, 최첨단 SR 방법과 비교해 유사한 정량적 성능을 달성함을 보여준다.

조건부 목표를 활용한 유연한 스타일 이미지 슈퍼리졸루션 | 최신 연구 논문 | HyperAI초신경