HyperAIHyperAI

Command Palette

Search for a command to run...

E.T. die außergewöhnlichen Trajektorien: Text-zu-Kameratrajektorien-Generierung mit Charakterbewusstsein

Robin Courant Nicolas Dufour Xi Wang Marc Christie Vicky Kalogeiton

Zusammenfassung

Geschichten und Emotionen in Filmen entstehen durch gezielte Regieentscheidungen, insbesondere durch die sorgfältige Platzierung und Bewegung der Kamera im Laufe der Zeit. Die Gestaltung überzeugender Kamerabewegungstrajektorien bleibt selbst für erfahrene Künstler ein komplexer, iterativer Prozess. Um diesem Problem zu begegnen, stellen wir in diesem Paper ein neues Datenset namens Exceptional Trajectories (E.T.) vor, das Kamerabewegungstrajektorien zusammen mit Charakterinformationen und textuellen Captions enthält, die sowohl die Kamera- als auch die Charakterbeschreibungen umfassen. Sofern uns bekannt ist, handelt es sich hierbei um das erste Datenset dieser Art. Um die Potenziale des E.T.-Datensets aufzuzeigen, schlagen wir einen auf Diffusion basierenden Ansatz namens DIRECTOR vor, der komplexe Kamerabewegungstrajektorien aus textuellen Captions generiert, die die Beziehung und Synchronisation zwischen Kamera und Charakteren beschreiben. Um eine robuste und genaue Evaluation zu gewährleisten, trainieren wir auf dem E.T.-Datenset CLaTr, ein Contrastive Language-Trajectory-Embedding für Evaluationsmetriken. Wir gehen davon aus, dass unser vorgeschlagenes Datenset und der Ansatz die Democratization der Kameraführung erheblich voranbringen und sie einer breiteren Nutzergruppe zugänglich machen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
E.T. die außergewöhnlichen Trajektorien: Text-zu-Kameratrajektorien-Generierung mit Charakterbewusstsein | Paper | HyperAI