تحتاج الروبوتات التي تتنقل بشكل مستقل إلى القدرة على إدراك وتعقب حركة الأجسام والكائنات الأخرى في بيئتها المحيطة. يمكّن هذا المعلومات من تخطيط وتنفيذ مسارات قوية وآمنة. ولتسهيل هذه العمليات، يجب إدراك الحركة في الفضاء الثلاثي الأبعاد الديكارتي. ومع ذلك، ركّزت معظم الأبحاث الحديثة في مجال تتبع الكائنات المتعددة (MOT) على تتبع البشر والأجسام المتحركة في تسلسلات فيديو ثنائية الأبعاد (RGB). في هذا العمل، نقدّم نظام JRMOT، وهو نظام جديد لتتبع الكائنات الثلاثي الأبعاد، يدمج المعلومات المستمدة من الصور RGB والسحابة ثلاثية الأبعاد (3D point clouds) لتحقيق أداء متميز في الوقت الفعلي. تم بناء نظامنا باستخدام شبكات عصبية حديثة للتمييز (re-identification)، والكشف ثنائي وثلاثي الأبعاد، ووصف المسارات، مدمجة ضمن إطار ارتباط إحصائي مركب داخل بنية كالمان متعددة الوسائط ومتكررة. كجزء من هذا العمل، نُطلق مجموعة بيانات JRDB، وهي مجموعة بيانات واسعة النطاق ثنائية الأبعاد + ثلاثية الأبعاد، ومُعلّمة بـ أكثر من مليون مربع مُحاصر (box) و3500 مسارًا متزامنًا ثنائي الأبعاد + ثلاثي الأبعاد عبر 54 مشهدًا داخليًا وخارجيًا. تحتوي مجموعة JRDB على أكثر من 60 دقيقة من البيانات، تشمل فيديو RGB دائري بزاوية 360 درجة والسحابة ثلاثية الأبعاد في بيئات اجتماعية، والتي استخدمناها لتطوير وتدريب وتقييم نظام JRMOT. يُظهر النظام المقدم لتتبع الكائنات الثلاثية الأبعاد أداءً متميزًا مقارنة بالطرق التنافسية على معيار KITTI الشهير لتتبع ثنائي الأبعاد، ويُعدّ أول حل لتتبع ثلاثي الأبعاد لهذا المعيار. كما أظهرت اختبارات الروبوت الحقيقي على روبوتنا الاجتماعي JackRabbot أن النظام قادر على تتبع عدد من المشاة بسرعة وموثوقية. نوفر كود النظام المُتتبع ببيئة ROS عبر الرابط: https://sites.google.com/view/jrmot.