E.T. les Trajectoires Exceptionnelles : Génération de trajectoire caméra à partir de texte avec prise en compte du personnage

Les histoires et les émotions dans les films émergent grâce à des décisions de mise en scène soigneusement réfléchies, en particulier la position et le mouvement de la caméra au fil du temps. La conception de trajectoires de caméra percutantes demeure un processus complexe et itératif, même pour des artistes expérimentés. Afin de relever ce défi, nous proposons dans cet article un jeu de données appelé Exceptional Trajectories (E.T.), comprenant des trajectoires de caméra associées à des informations sur les personnages et des légendes textuelles décrivant à la fois la caméra et les personnages. Selon nos connaissances, il s’agit du premier jeu de données de ce type. Pour illustrer les applications potentielles du jeu de données E.T., nous introduisons une approche basée sur la diffusion, nommée DIRECTOR, qui génère des trajectoires de caméra complexes à partir de légendes textuelles décrivant les relations et la synchronisation entre la caméra et les personnages. Afin d’assurer une évaluation robuste et précise, nous entraînons un modèle CLaTr (Contrastive Language-Trajectory embedding) sur le jeu de données E.T., spécifiquement conçu comme métrique d’évaluation. Nous soutenons que notre jeu de données et notre méthode représentent une avancée significative vers la démocratisation de la cinématographie, rendant cette pratique plus accessible aux utilisateurs ordinaires.