
켄 버너스 효과(Ken Burns effect)는 가상 카메라의 스캔과 줌 인/아웃을 통해 정지 이미지를 애니메이션화하는 기술이다. 평행 이동(parallax)을 추가함으로써 3차원적 켄 버너스 효과를 구현할 수 있으며, 이는 훨씬 더 매력적인 시각적 결과를 가능하게 한다. 그러나 이러한 효과를 수동으로 생성하는 것은 시간이 오래 걸리고 고도의 편집 기술이 요구된다. 기존의 자동화된 방법들은 다양한 시점에서 촬영된 다수의 입력 이미지가 필요하다는 한계를 지닌다. 본 논문에서는 단일 이미지로부터 3차원 켄 버너스 효과를 합성하는 프레임워크를 제안한다. 이 프레임워크는 완전 자동 모드와 사용자가 카메라를 제어하는 상호작용 모드를 모두 지원한다. 먼저, 시점 합성 작업에 적합한 장면의 깊이를 추정하는 깊이 예측 파이프라인을 활용한다. 기존의 깊이 추정 방법이 겪는 기하학적 왜곡, 의미론적 왜곡, 정확하지 않은 깊이 경계 등의 한계를 해결하기 위해, 의미 정보를 고려하는 신경망을 설계하고, 세그멘테이션 기반 깊이 조정 과정과 결합하며, 객체 경계에서 정확한 깊이 예측을 가능하게 하는 개선 신경망을 도입한다. 이러한 깊이 추정 결과를 바탕으로, 본 프레임워크는 입력 이미지를 점군(point cloud)으로 매핑하고, 해당 카메라 위치에서 점군을 렌더링함으로써 결과 영상을 합성한다. 카메라 경로의 극단적인 시점에서 발생하는 탈출(occlusion) 문제를 해결하면서도 기하학적·시간적으로 일관된 합성 결과를 유지하기 위해, 맥락 인식형 색상 및 깊이 보정(inpainting) 기법을 활용하여 누락된 정보를 채운다. 이를 통해 점군의 장면 기하 구조를 확장한다. 다양한 이미지 콘텐츠에 대한 실험 결과는 본 방법이 현실적인 합성 결과를 가능하게 함을 보여준다. 본 연구는 기존의 3차원 켄 버너스 효과 생성 솔루션에 비해 사용자가 거의 노력하지 않고도 더 우수한 결과를 얻을 수 있음을 입증한다.