H3DNet: كشف الأجسام ثلاثية الأبعاد باستخدام أشكال هندسية هجينة

نُقدِّم نموذج H3DNet، الذي يستلم سحابة نقطية ثلاثية الأبعاد بدون ألوان كمدخلات ويُخرِج مجموعة من الصناديق المحصورة الموجهة (BB) والملصقات الدلالية الخاصة بها. الفكرة الأساسية في H3DNet تكمن في التنبؤ بمجموعة هجينة من الأشكال الهندسية الأساسية، أي مراكز الصناديق المحصورة، ومركزي الوجوه، ومركزي الحواف. نُظهر كيفية تحويل هذه الأشكال الهندسية المتنبأ بها إلى اقتراحات كائنات من خلال تعريف دالة بُعد بين الكائن والأشكال الهندسية. تُمكّن هذه الدالة من تحسين اقتراحات الكائنات بشكل مستمر، وتُوفّر نقاطًا محلية لحد أدنى تُنتج اقتراحات كائنات عالية الدقة. ثم يستخدم نموذج H3DNet وحدة تطابق وتحسين لتصنيف اقتراحات الكائنات إلى كائنات مُكتشفة، وضبط دقيق للبارامترات الهندسية للكائنات المكتشفة. إن المجموعة الهجينة من الأشكال الهندسية لا تُقدِّم إشارات أكثر دقة للكشف عن الكائنات مقارنة باستخدام نوع واحد فقط من الأشكال الهندسية، بل توفر أيضًا مجموعة مفرطة من القيود على التخطيط ثلاثي الأبعاد الناتج. ولهذا السبب، يمكن لنموذج H3DNet تحمل وجود القيم الشاذة (الانحرافات) في الأشكال الهندسية المتنبأ بها. وتحقق النموذج نتائج رائدة في الكشف ثلاثي الأبعاد على مجموعتي بيانات كبيرتين تحتويان على عمليات تصوير ثلاثي الأبعاد حقيقية، وهما ScanNet وSUN RGB-D.