E.T. ～例外的な軌道～：キャラクターアウェアネスを備えたテキストからカメラ軌道生成

映画における物語や感情は、特に時間経過にわたるカメラの配置や移動といった、慎重に設計された演出決定によって生み出される。優れたアーティストですら、魅力的なカメラ軌道を構築することは、依然として複雑な反復的なプロセスである。この課題に対処するため、本論文では、カメラ軌道に加えてキャラクター情報や、カメラおよびキャラクターに関する記述を含むテキストキャプションを備えたデータセット「Exceptional Trajectories（E.T.）」を提案する。筆者らの知る限り、これは類似したデータセットにおいて初の試みである。E.T.データセットの潜在的な応用を示すために、カメラとキャラクター間の関係性および同期を記述するテキストキャプションから、複雑なカメラ軌道を生成する拡散ベースのアプローチ、すなわちDIRECTORを提案する。評価の堅牢性と正確性を確保するため、E.T.データセットを用いて学習したCLaTr（Contrastive Language-Trajectory embedding）を評価指標として用いる。本研究では、提案するデータセットと手法が、映画演出の民主化を著しく進展させ、一般ユーザーにとってもよりアクセスしやすいものになると主張する。