GSNet: إعادة بناء وضعية وشكل المركبة باستخدام الرقابة الهندسية والوعي بالمشهد

نقدم إطارًا جديدًا من النهاية إلى النهاية يُسمى GSNet (الشبكة الهندسية والوعية بالمشهد)، والذي يقوم بتقدير وضعيات الـ 6DoF وإعادة بناء أشكال السيارات ثلاثية الأبعاد بتفصيل عالي من صورة شارع حضري واحدة. يستخدم GSNet مخطط فريد لاستخراج الميزات ودمجها بأربع طرق، ويقوم بрегression وضعيات الـ 6DoF والأشكال مباشرة في مرور واحد للأمام. تظهر التجارب الواسعة أن استراتيجيتنا المتنوعة لاستخراج الميزات ودمجها يمكن أن تحسن أداء النموذج بشكل كبير. استنادًا إلى استراتيجية تمثيل الشكل ثلاثي الأبعاد "تقسيم وحل"، يقوم GSNet بإعادة بناء شكل السيارة ثلاثي الأبعاد بتفاصيل دقيقة جدًا (1352 رأس و2700 وجه). هذا التمثيل الشبكي الكثيف يؤدي بنا أيضًا إلى النظر في التناسق الهندسي والسياق المشهدي، مما ألهم استخدام دالة خسارة متعددة الأهداف جديدة لتقييد تدريب الشبكة، مما بدوره يحسن دقة تقدير وضعية الـ 6D ويؤكد فائدة القيام بالمهمتين معًا. نقيم GSNet على أكبر مقاييس متعدد المهام ApolloCar3D ونحقق أفضل الأداء كميًا وكيفيًا. الصفحة الخاصة بالمشروع متاحة على الرابط: https://lkeab.github.io/gsnet/.