4DSloMo: 고속 장면의 비동기 캡처를 위한 4차원 재구성

다중 뷰 비디오에서 빠르게 변화하는 장면을 재구성하는 것은 고속 운동 분석과 실제적인 4D 재구성에 매우 중요합니다. 그러나 대부분의 4D 캡처 시스템은 초당 프레임 수(FPS, frames per second)가 30 미만으로 제한되어 있으며, 낮은 FPS 입력으로부터 고속 운동을 직접 4D로 재구성하면 원하지 않는 결과를 초래할 수 있습니다. 본 연구에서는 특화된 고속 카메라 없이도 저 FPS 카메라만을 사용하여 고속 4D 캡처 시스템을 제안합니다. 이는 혁신적인 캡처 및 처리 모듈을 통해 이루어집니다.캡처 측면에서는 효과적인 프레임 속도를 향상시키기 위해 카메라 시작 시간을 차등화하는 비동기 캡처 방식을 제안합니다. 카메라들을 그룹화하고 기본 프레임 속도를 25 FPS로 활용함으로써, 본 방법은 특수 고속 카메라를 요구하지 않으면서도 동등한 100-200 FPS의 프레임 속도를 달성합니다. 처리 측면에서는 4D 희소 뷰 재구성으로 인해 발생하는 아티팩트를 수정하기 위한 새로운 생성 모델을 제안합니다. 비동기화는 각 타임스탬프에서 뷰포인트의 수를 줄이므로, 이러한 문제를 해결하기 위해 우리는 희소 4D 재구성을 위한 비디오 확산 기반 아티팩트 수정 모델을 학습시키는 방법을 제안합니다. 이 모델은 누락된 세부 정보를 개선하고 시간적 일관성을 유지하며 전체적인 재구성 품질을 향상시킵니다.실험 결과는 본 방법이 동기화된 캡처에 비해 고속 4D 재구성을 크게 개선한다는 것을 입증하였습니다.