HyperAIHyperAI

Command Palette

Search for a command to run...

E.T. les Trajectoires Exceptionnelles : Génération de trajectoire caméra à partir de texte avec prise en compte du personnage

Robin Courant Nicolas Dufour Xi Wang Marc Christie Vicky Kalogeiton

Résumé

Les histoires et les émotions dans les films émergent grâce à des décisions de mise en scène soigneusement réfléchies, en particulier la position et le mouvement de la caméra au fil du temps. La conception de trajectoires de caméra percutantes demeure un processus complexe et itératif, même pour des artistes expérimentés. Afin de relever ce défi, nous proposons dans cet article un jeu de données appelé Exceptional Trajectories (E.T.), comprenant des trajectoires de caméra associées à des informations sur les personnages et des légendes textuelles décrivant à la fois la caméra et les personnages. Selon nos connaissances, il s’agit du premier jeu de données de ce type. Pour illustrer les applications potentielles du jeu de données E.T., nous introduisons une approche basée sur la diffusion, nommée DIRECTOR, qui génère des trajectoires de caméra complexes à partir de légendes textuelles décrivant les relations et la synchronisation entre la caméra et les personnages. Afin d’assurer une évaluation robuste et précise, nous entraînons un modèle CLaTr (Contrastive Language-Trajectory embedding) sur le jeu de données E.T., spécifiquement conçu comme métrique d’évaluation. Nous soutenons que notre jeu de données et notre méthode représentent une avancée significative vers la démocratisation de la cinématographie, rendant cette pratique plus accessible aux utilisateurs ordinaires.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp