2달 전

실시간 스타일 변환 및 초해상도를 위한 지각 손실

Justin Johnson; Alexandre Alahi; Li Fei-Fei
실시간 스타일 변환 및 초해상도를 위한 지각 손실
초록

우리는 입력 이미지를 출력 이미지로 변환하는 문제를 고려합니다. 이러한 문제에 대한 최근의 방법들은 일반적으로 출력 이미지와 참조 이미지 간의 \emph{픽셀 단위} 손실을 사용하여 피드포워드 컨볼루션 신경망을 훈련시킵니다. 병행 연구에서는 사전 훈련된 네트워크에서 추출한 고차원 특징을 기반으로 \emph{감각적} 손실 함수를 정의하고 최적화함으로써 고품질 이미지를 생성할 수 있음을 보여주었습니다. 우리는 두 접근 방식의 장점을 결합하여, 이미지 변환 작업을 위한 피드포워드 네트워크 훈련에 감각적 손실 함수를 사용하는 것을 제안합니다. 이미지 스타일 전환에서의 결과를 보여드리며, 이는 피드포워드 네트워크가 Gatys 등이 제안한 최적화 문제를 실시간으로 해결하도록 훈련되는 경우입니다. 최적화 기반 방법과 비교하여 우리의 네트워크는 유사한 질적인 결과를 제공하지만, 속도는 세 자릿수 이상 빠릅니다. 또한 단일 이미지 초해상화에서도 픽셀 단위 손실 대신 감각적 손실을 사용하면 시각적으로 만족스러운 결과를 얻을 수 있음을 실험했습니다.

실시간 스타일 변환 및 초해상도를 위한 지각 손실 | 최신 연구 논문 | HyperAI초신경