Scan2CAD: تعلم محاذاة نماذج CAD في المسحات RGB-D

نقدم Scan2CAD، وهي طريقة جديدة تعتمد على البيانات لتعلم محاذاة النماذج ثلاثية الأبعاد (3D CAD) النظيفة من قاعدة بيانات الأشكال إلى الهندسة الصاخبة والناقصة لمسح ضوئي ثلاثي الأبعاد (RGB-D) تجاري. بالنسبة لإعادة بناء مشهد داخلي ثلاثي الأبعاد، تأخذ طريقتنا مجموعة من نماذج CAD كمدخلات وتتنبأ بموضع يحتوي على 9 درجات من الحرية (9DoF) يُحاذي كل نموذج مع الهندسة الأساسية للمسح الضوئي. لمعالجة هذه المشكلة، ننشئ مجموعة بيانات جديدة للمحاذاة بين المسح الضوئي وCAD تعتمد على 1506 مسحًا من Scannet مع 97607 زوجًا من النقاط الرئيسية المُشَرَّحة بين 14225 نموذج CAD من ShapeNet وأشيائهم المقابلة في المسوحات. تقوم طريقتنا باختيار مجموعة من النقاط الرئيسية الممثلة في مسح ثلاثي الأبعاد، حيث نجد التوافق بينها وبين الهندسة CAD. لهذا الغرض، صممنا هندسة شبكة عصبية اصطناعية ثلاثية الأبعاد (3D CNN) جديدة تتعلم تمثيل مشترك بين الأشياء الحقيقية والاصطناعية، ومن خلال هذا التمثيل تتوقع خريطة حرارية للتوافق. استنادًا إلى هذه الخرائط الحرارية للتوافق، نصوغ مشكلة تقليل الطاقة المتغيرة التي تُحاذي مجموعة معينة من نماذج CAD إلى إعادة البناء. قدمنا تقييمًا لنهجنا على مقاييس Scan2CAD الجديدة التي أدخلناها، حيث حققنا تفوقًا بنسبة 21.39% مقارنة بالطرق المستندة إلى الوصفات اليدوية وأحدث الطرق المستندة إلى الشبكات العصبية الاصطناعية (CNN).