BlenderFusion: التحرير البصري المُرتكز على ثلاثية الأبعاد والتركيب التوليدي

نقدم لكم إطار BlenderFusion التوليدي للتركيب البصري، الذي يُنشئ مشاهد جديدة بإعادة تكوين الأشياء والكاميرا والخلفية. يتبع هذا الإطار مسارًا ثلاثيًا يتكون من تقسيم وتحرير وتركيب: (i) تقسيم تحويل المدخلات البصرية إلى كيانات ثلاثية قابلة للتحرير (التقسيم)، (ii) تحريرها في Blender باستخدام تحكم مبني على الأبعاد الثلاثية (التحرير)، و (iii) دمجها في مشهد متماسك باستخدام تركيب توليدي (التركيب). يتم تمديد تركيبنا التوليدي لنموذج انتشار مسبق التدريب لمعالجة المشاهد الأصلية (المصدر) والمعدلة (الهدف) بالتوازي. يتم تعديل النموذج بدقة على إطارات الفيديو باستخدام استراتيجيتين أساسيتين للتدريب: (i) تغطية المصدر، مما يتيح التعديلات المرنة مثل استبدال الخلفية؛ (ii) هزّ الأشياء المحاكاة، مما يسهل التحكم المنفصل في الأشياء والكاميرا. يتفوق BlenderFusion بشكل كبير على الطرق السابقة في مهام تحرير المشاهد التركيبية المعقدة.