DeFMO: 빠르게 움직이는 물체의 왜곡 제거 및 형상 복원

고속으로 움직이는 물체는 카메라로 촬영할 경우 크게 흐려져 보입니다. 특히 물체의 형태나 질감이 복잡할 경우 흐림 현상은 더욱 모호해져, 기존의 전통적 방법이나 인간의 시각 능력으로도 물체의 실제 모습과 운동 상태를 복원하기 어렵습니다. 본 연구에서는 단일 이미지와 추정된 배경을 입력으로 받아, 마치 고속 카메라가 촬영한 것처럼 물체의 시각적 모습과 위치를 연속된 하위 프레임(서브프레임)에 정밀하게 출력하는 방법을 제안합니다(즉, 시간적 초해상도 증강). 제안하는 생성형 모델은 흐려진 물체 이미지를 잠재 공간(임베딩 공간)에 매핑하고, 배경을 분리하여 선명한 물체의 외관을 재구성합니다. 영상 형성 모델을 영감으로 삼아, 성능을 향상시키고 우수한 일반화 능력을 보여주는 새로운 자기지도 학습(self-supervised) 손실 함수를 설계하였습니다. 제안하는 DeFMO 방법은 복잡한 합성 데이터셋에서 학습되었지만, 다양한 실제 데이터셋에서 우수한 성능을 발휘합니다. DeFMO는 기존 최고 수준의 기법들을 능가하며, 고품질의 시간적 초해상도 프레임을 생성합니다.