PanopticFusion: الخرائط الدلالية الحجمية عبر الإنترنت على مستوى الأشياء والمادة

نقترح نظام PanopticFusion، وهو نظام خرائطي معجمي حجمي جديد عبر الإنترنت على مستوى الأشياء والمواد. بخلاف أنظمة الخرائط المعجمية السابقة، يتمكن PanopticFusion من التنبؤ بكثافة بتصنيفات المواد لمنطقة الخلفية (المواد) وتقسيم الأشياء في المقدمة بشكل فردي (الأشياء). بالإضافة إلى ذلك، يمتلك نظامنا القدرة على إعادة بناء مشهد كبير الحجم واستخراج شبكة موسومة بفضل استخدامه لتمثيل خريطة حجمية مُشَبَّكَة فضائيًا. يقوم نظامنا أولاً بالتنبؤ بالتصنيفات البانورامية لكل بكسل (تصنيفات المواد لمناطق المواد ومعرفات الحالات لمناطق الأشياء) للإطارات الواردة ذات اللون الأحمر والأخضر والأزرق (RGB) من خلال دمج مخرجات التقسيم المعجمي والمثلي ثنائية الأبعاد. يتم دمج التصنيفات البانورامية المتوقعة في الخريطة الحجمية مع قياسات العمق مع الحفاظ على اتساق معرفات الحالات، والتي قد تتغير من إطار إلى آخر، عن طريق الرجوع إلى الخريطة ثلاثية الأبعاد في تلك اللحظة. بالإضافة إلى ذلك، نقوم ببناء نموذج مجال عشوائي شرطي (CRF) متصل بالكامل فيما يتعلق بالتصنيفات البانورامية لتحقيق تنظيم الخريطة. بالنسبة للاستدلال CRF عبر الإنترنت، نقترح تقريبًا جديدًا للقوة الأحادية واستراتيجية تقسيم الخريطة.قمنا بتقييم أداء نظامنا على مجموعة بيانات ScanNet (v2). تفوق PanopticFusion أو تساوى مع أفضل الأساليب غير المتصلة عبر الإنترنت للمعالجة العميقة ثلاثية الأبعاد (3D DNN) في كلا مقاييس التقسيم المعجمي والمثلي. كما نقدم تطبيقًا واعدًا للواقع المعزز باستخدام خريطة بانورامية ثلاثية الأبعاد تم إنشاؤها بواسطة النظام المقترح.