إي.ت. ذا استثنائية المسارات: توليد مسار الكاميرا من النص مع الوعي بالشخصية

تظهر القصص والعواطف في الأفلام من خلال تأثير قرارات الإخراج المدروسة جيدًا، وبخاصة وضع الكاميرا وحركتها عبر الزمن. لا يزال إنشاء مسارات كاميرا مؤثرة عملية معقدة ومتكررة، حتى بالنسبة للفنانين المهرة. وللتصدي لهذه التحديات، نقترح في هذه الورقة مجموعة بيانات تُسمى "المسارات الاستثنائية" (E.T.)، تضم مسارات كاميرا إلى جانب معلومات عن الشخصيات والتعليقات النصية التي تصف كلًا من الكاميرا والشخصيات. إلى حد معرفتنا، هذه هي المجموعة الأولى من نوعها. ولإظهار التطبيقات المحتملة لمجموعة بيانات E.T.، نقترح منهجًا يعتمد على التوزيع (diffusion)، يُسمى DIRECTOR، والذي يُولِّد مسارات كاميرا معقدة من تعليقات نصية تصف العلاقة والتناسق بين الكاميرا والشخصيات. ولضمان تقييمات دقيقة وموثوقة، نُدرّب على مجموعة بيانات E.T. باستخدام نموذج CLaTr، وهو نموذج تضمين مسار-لغة تناقضية (Contrastive Language-Trajectory embedding) لغرض قياس الأداء. ونفترض أن مجموعة البيانات والمنهج المقترحين يُسهمان بشكل كبير في تمكين الإخراج السينمائي، ويجعلانه أكثر إمكانية للوصول من قبل المستخدمين العاديين.