E.T. die außergewöhnlichen Trajektorien: Text-zu-Kameratrajektorien-Generierung mit Charakterbewusstsein

Geschichten und Emotionen in Filmen entstehen durch gezielte Regieentscheidungen, insbesondere durch die sorgfältige Platzierung und Bewegung der Kamera im Laufe der Zeit. Die Gestaltung überzeugender Kamerabewegungstrajektorien bleibt selbst für erfahrene Künstler ein komplexer, iterativer Prozess. Um diesem Problem zu begegnen, stellen wir in diesem Paper ein neues Datenset namens Exceptional Trajectories (E.T.) vor, das Kamerabewegungstrajektorien zusammen mit Charakterinformationen und textuellen Captions enthält, die sowohl die Kamera- als auch die Charakterbeschreibungen umfassen. Sofern uns bekannt ist, handelt es sich hierbei um das erste Datenset dieser Art. Um die Potenziale des E.T.-Datensets aufzuzeigen, schlagen wir einen auf Diffusion basierenden Ansatz namens DIRECTOR vor, der komplexe Kamerabewegungstrajektorien aus textuellen Captions generiert, die die Beziehung und Synchronisation zwischen Kamera und Charakteren beschreiben. Um eine robuste und genaue Evaluation zu gewährleisten, trainieren wir auf dem E.T.-Datenset CLaTr, ein Contrastive Language-Trajectory-Embedding für Evaluationsmetriken. Wir gehen davon aus, dass unser vorgeschlagenes Datenset und der Ansatz die Democratization der Kameraführung erheblich voranbringen und sie einer breiteren Nutzergruppe zugänglich machen.