4DSloMo: إعادة بناء رباعية الأبعاد لمشهد عالي السرعة باستخدام التقاط غير متزامن

إعادة بناء المشاهد الديناميكية السريعة من مقاطع الفيديو متعددة الزوايا مهم للغاية لتحليل الحركة السريعة وإعادة بناء واقعية في الأبعاد الأربعة (4D). ومع ذلك، فإن معظم أنظمة التقاط الأبعاد الأربعة محدودة بمعدلات إطارات أقل من 30 إطارًا في الثانية (FPS)، وقد يؤدي إعادة بناء 4D مباشرة للحركة السريعة من مدخلات ذات معدل FPS منخفض إلى نتائج غير مرغوب فيها. في هذا البحث، نقترح نظامًا عالي السرعة لإعادة بناء 4D باستخدام كاميرات ذات معدل FPS منخفض فقط، وذلك من خلال وحدات التقاط ومعالجة جديدة. فيما يتعلق بجانب التقاط الصور، نقترح مخططًا للتقاط غير المتزامن يزيد من معدل الإطار الفعال عن طريق تأخير أوقات بدء الكاميرات. ومن خلال تجميع الكاميرات والاستفادة من معدل الإطار الأساسي البالغ 25 إطارًا في الثانية، تحقق طريقتنا معدل إطارات معادل يتراوح بين 100-200 إطارًا في الثانية دون الحاجة إلى كاميرات عالية السرعة متخصصة. فيما يتعلق بجانب المعالجة، نقترح أيضًا نموذجًا جينيريًّا جديدًا لإصلاح العيوب الناجمة عن إعادة بناء 4D النادرة الزوايا، حيث يقلل عدم التزامن عدد نقاط النظر في كل زمن. وبشكل خاص، نقترح تدريب نموذج لإصلاح العيوب يستند إلى انتشار الفيديو (video-diffusion) لإعادة بناء 4D النادرة الزوايا، والذي يحسن التفاصيل المفقودة ويحافظ على التجانس الزمني ويعزز جودة إعادة البناء بشكل عام. تظهر النتائج التجريبية أن طريقتنا تعزز بشكل كبير إعادة بناء 4D عالي السرعة مقارنة بالتقاط المتزامن.