E.T.의 특이 궤적: 캐릭터 인식을 갖춘 텍스트-카메라 궤적 생성

영화 속 이야기와 감정은 특히 카메라의 위치와 시간에 따른 움직임 등 신중하게 계획된 연출 결정들의 효과를 통해 드러난다. 심도 있는 카메라 경로를 구축하는 과정은 숙련된 예술가에게도 여전히 복잡한 반복적 작업이다. 이를 해결하기 위해 본 논문에서는 카메라 경로뿐 아니라 캐릭터 정보와 카메라 및 캐릭터에 대한 묘사를 담은 텍스트 캡션을 포함하는 데이터셋인 'Exceptional Trajectories (E.T.)'을 제안한다. 우리 연구팀의 파악에 따르면, 이는 세계 최초의 유사한 형태의 데이터셋이다. E.T. 데이터셋의 잠재적 응용 가능성을 보여주기 위해, 카메라와 캐릭터 간의 관계와 동기화를 묘사한 텍스트 캡션을 기반으로 복잡한 카메라 경로를 생성하는 확산 기반 접근법인 DIRECTOR를 제안한다. 평가의 강건성과 정확성을 확보하기 위해, E.T. 데이터셋을 기반으로 CLaTr(Contrastive Language-Trajectory embedding)를 학습시켜 평가 지표를 구축하였다. 본 연구는 제안한 데이터셋과 방법이 영화 연출의 민주화를 크게 촉진할 것이라 믿으며, 일반 사용자들도 보다 쉽게 영화 제작 기술에 접근할 수 있도록 할 것으로 기대한다.