HoHoNet: فهم شامل ثلاثي الأبعاد للمساحات الداخلية باستخدام الخصائص الأفقية الكامنة

نقدم إطار العمل HoHoNet، وهو إطار متنوع وكفء لفهم شامل للصورة البانورامية الداخلية بزاوية 360 درجة باستخدام ميزة أفقية ضمنية (LHFeat). تُسطّح الميزة الأفقية ضمنية (LHFeat) المدمجة الخصائص في الاتجاه الرأسي وقد أثبتت نجاحها في نمذجة الوسائط لكل عمود لإعادة بناء تخطيط الغرفة. يتطور HoHoNet في جوانب مهمة اثنين. أولاً، تم إعادة تصميم العمارة العميقة لتعمل بشكل أسرع مع دقة محسنة. ثانياً، نقترح وحدة جديدة من الأفق إلى الكثافة، والتي تخفف قيد شكل الإخراج لكل عمود، مما يسمح بالتنبؤ الكثيف لكل بكسل من LHFeat. يعمل HoHoNet بسرعة: حيث يصل معدل تشغيله إلى 52 صورة في الثانية و110 صور في الثانية باستخدام هيكل ResNet-50 وهيكل ResNet-34 على التوالي لنمذجة الوسائط الكثيفة من الصورة البانورامية ذات الدقة العالية ($512 \times 1024$). كما أن HoHoNet دقيق أيضًا. في مهام تقدير التخطيط والتقسيم الدلالي، يحقق HoHoNet نتائج تعادل أفضل ما هو موجود حاليًا. وفي تقدير العمق الكثيف، يتفوق HoHoNet على جميع الأعمال السابقة بمقدار كبير.