تتبع نقاط ثلاثية الأبعاد متعددة المقاييس

نقدّم أول مُتتبع لنقاط ثلاثية الأبعاد تعتمد على البيانات، مصمم لتتبع نقاط عشوائية في المشاهد الديناميكية باستخدام مناظر متعددة من كاميرات متعددة. على عكس المُتتبعات ذات المنظور الواحد الحالية، التي تعاني من غموض العمق والاختناقات، أو الطرق السابقة القائمة على كاميرات متعددة التي تتطلب أكثر من 20 كاميرا وتحتاج إلى عمليات تحسين معقدة لكل تسلسل، فإن نموذجنا المُدخل مباشرةً (feed-forward) يُقدّر بشكل مباشر الت correspon dences ثلاثية الأبعاد باستخدام عدد عملي من الكاميرات (مثلاً أربع كاميرات)، مما يتيح تتبعًا دقيقًا وقويًا في الوقت الفعلي. وبافتراض معرفة مواقع الكاميرات وتوفر عمق متعدد المناظر إما من أجهزة استشعار أو من تقديرات متعددة المناظر، يُدمج مُتتبعنا السمات المتعددة المنظور في سحابة نقاط موحدة، ويُطبّق ارتباطًا قائمة على أقرب الجيران (k-nearest-neighbors) مع تحديث مبني على مُحولّ (transformer) لتقدير موثوق للتوافق ثلاثي الأبعاد على مدى طويل، حتى في حالات الاختناقات. تم تدريب النموذج على 5000 تسلسل اصطناعي متعدد المناظر من مجموعة Kubric، وتم تقييمه على بحثين واقعيين: Panoptic Studio و DexYCB، حيث حقق أخطاء متوسطة في المسار قدرها 3.1 سم و2.0 سم على التوالي. وينجح نهجنا في التعميم الجيد على مختلف تكوينات الكاميرات المتنوعة (من 1 إلى 8 مناظر)، بزوايا رؤية مختلفة، وفترات فيديو تتراوح بين 24 إلى 150 إطارًا. وبإطلاق مُتتبعنا مع مجموعات بيانات التدريب والتقييم، نهدف إلى وضع معيار جديد لأبحاث تتبع ثلاثي الأبعاد متعدد المناظر، وتقديم أداة عملية تُستخدم في التطبيقات الواقعية. صفحة المشروع متاحة عبر الرابط التالي: هذا الرابط.