2달 전

깊이 있는 다중 스케일 합성곱 신경망을 이용한 동적 장면 블러링 제거

Seungjun Nah; Tae Hyun Kim; Kyoung Mu Lee
깊이 있는 다중 스케일 합성곱 신경망을 이용한 동적 장면 블러링 제거
초록

일반적인 동적 장면에서의 비균일 블라인드 디블러링은 여러 객체의 움직임뿐만 아니라 카메라 흔들림, 장면 깊이 변화 등으로 인해 발생하는 블러를 제거해야 하는 어려운 컴퓨터 비전 문제입니다. 이러한 복잡한 모션 블러를 제거하기 위해, 기존의 에너지 최적화 기반 방법들은 블러 커널이 부분적으로 균일하거나 국소적으로 선형이라는 간단한 가정에 의존합니다. 또한 최근의 머신 러닝 기반 방법들도 이러한 가정 하에서 생성된 합성 블러 데이터셋에 의존합니다. 이는 블러 커널을 근사하거나 매개변수화하기 어려운 경우(예: 객체 움직임 경계) 기존 디블러링 방법들이 블러를 제거하지 못하게 만듭니다. 본 연구에서는 다양한 원인으로 인해 발생하는 블러를 단계별로 처리하여 선명한 이미지를 복원하는 다중 스케일 합성 신경망을 제안합니다. 또한, 기존의 거칠기부터 세밀하게 접근하는 방식을 모방한 다중 스케일 손실 함수를 소개합니다. 더불어, 고속 카메라로 촬영된 실제적인 블러 이미지와 해당 이미지의 정확한 선명한 참조 이미지를 제공하는 새로운 대규모 데이터셋을 제안합니다. 제안된 모델을 이 데이터셋으로 훈련시킨 결과, 실험적으로 우리의 방법이 동적 장면 디블러링에서 질적뿐만 아니라 양적 측면에서도 최고 수준의 성능을 달성함을 보여주었습니다.

깊이 있는 다중 스케일 합성곱 신경망을 이용한 동적 장면 블러링 제거 | 최신 연구 논문 | HyperAI초신경