شبكة رسم بياني هرمية للكشف عن الكائنات ثلاثية الأبعاد على السحابات النقطية

يُستخدم الكشف عن الأجسام ثلاثية الأبعاد على السحابات النقطية في العديد من التطبيقات. ومع ذلك، لم تُراعِ معظم الطرق المعروفة للكشف عن الأجسام في السحابات النقطية الخصائص المميزة لهذه السحابات (مثل الندرة)، وبالتالي لم يتم التقاط بعض المعلومات الدلالية الأساسية (مثل معلومات الشكل) بشكل جيد. في هذه الورقة، نقترح شبكة هيراركية قائمة على الت convolution الرسومي (GConv) تُسمى HGNet، المصممة للكشف عن الأجسام ثلاثية الأبعاد، والتي تُعالج السحابات النقطية الخام مباشرةً للتنبؤ بصناديق الحدود ثلاثية الأبعاد. تُعد HGNet فعالة في التقاط العلاقات بين النقاط، وتستفيد من المعلومات الدلالية متعددة المستويات للكشف عن الأجسام. وبشكل خاص، نقترح نوعًا جديدًا من الت convolution الرسومي الموجه بالشكل (SA-GConv)، والذي يُستخدم لالتقاط السمات المكانية للشكل من خلال نمذجة المواقع الهندسية النسبية للنقاط لوصف أشكال الأجسام. كما تُستخدم شبكة على شكل U قائمة على SA-GConv لالتقاط السمات متعددة المستويات، والتي تُحوّل إلى فضاء متجانس من السمات باستخدام وحدة تصويت مُحسَّنة، ثم تُستخدم لاحقًا في إنشاء اقتراحات. بعد ذلك، تُستخدم وحدة جديدة تُسمى "مُعالج اقتراحات قائمة على GConv" لتحليل الاقتراحات مع أخذ نمط المشهد العالمي بعين الاعتبار، ثم يتم التنبؤ بصناديق الحدود. وبهذا، يتفوق إطارنا الجديد على الطرق الرائدة في مجاله على مجموعتي بيانات سحابات نقطية كبيرتين، بزيادة قدرها 4% في متوسط الدقة المعدلة (mAP) على مجموعة بيانات SUN RGB-D، و3% على مجموعة بيانات ScanNet-V2.