التتبع العميق متعدد الكاميرات ثلاثي الأبعاد في الزمن الفعلي

تتبع مجموعة من الأشخاص في الفضاء ثلاثي الأبعاد باستخدام كاميرات RGB متعددة يُعد مهمة صعبة. تم تصميم معظم الخوارزميات السابقة لتتبع الكاميرات المتعددة لبيئة غير مباشرة (offline) وتعاني من تعقيد حسابي عالٍ. يظل التتبع ثلاثي الأبعاد متعدد الكاميرات في الزمن الحقيقي مسألة غير محلولة حتى الآن. في هذه الدراسة، نقترح نهجًا جديدًا متكاملًا للتعقب يُسمى "التعقب متعدد الكاميرات العميق" (Deep Multi-Camera Tracking - DMCT)، الذي يحقق أداءً موثوقًا في التتبع في الزمن الحقيقي لأشخاص متعددين عبر كاميرات متعددة. يتكون نظام DMCT من أربع مكونات رئيسية: 1) شبكة عميقة جديدة وسريعة تُسمى "شبكة نقطة الأرض المُتَحَسِّسة للمنظور" (Perspective-Aware Deep GroundPoint Network)، 2) عملية دمج لتقدير خريطة امتلاء سطح الأرض (ground-plane occupancy heatmap)، 3) شبكة عميقة جديدة تُسمى "شبكة نظرة سريعة" (Deep Glimpse Network) للكشف عن الأشخاص، و4) مُتعقب سريع ودقيق يعمل في الزمن الحقيقي. يتميز التصميم بتحقيق أقصى استفادة من قوة الشبكات العصبية العميقة لتقدير "نقطة الأرض" لكل شخص في كل صورة ملونة، ويمكن تحسين هذه العملية لتعمل بكفاءة وموثوقية عالية. تدمج عملية الدمج، وشبكة النظرة السريعة، والمُتعقب النتائج من مختلف الزوايا، وتحدد مرشحين للأشخاص باستخدام عدة إطارات فيديو، ثم تتبع الأشخاص على خريطة الدمج الناتجة. يحقق النظام نتائج متميزة تُعد من أفضل النتائج المنشورة حتى الآن مع الحفاظ على الأداء في الزمن الحقيقي. بالإضافة إلى التقييم على مجموعة بيانات WILDTRACK الصعبة، قمنا أيضًا بجمع مجموعتين أخريين من بيانات التتبع بملصقات عالية الجودة من بيئتين مختلفتين وبنُظم كاميرات متنوعة. تؤكد النتائج التجريبية أن النهج الزمني الحقيقي الذي نقترحه يتفوق على الأساليب السابقة.