AdaPoinTr: إكمال سحابة النقاط المتنوعة باستخدام محولات متكيفة تُراعي الهندسة

في هذه الورقة، نقدّم طريقة جديدة تعيد صياغة مسألة استكمال السحابة النقطية (point cloud completion) كمهمة تحويل من مجموعة إلى مجموعة، ونصمم نموذجًا جديدًا يُدعى PoinTr، الذي يستخدم بنية مشفرة-فكّر (encoder-decoder) مبنية على مُحولّات (Transformer) لاستكمال السحابة النقطية. من خلال تمثيل السحابة النقطية كمجموعة من المجموعات غير المرتبة من النقاط مع تضمينات موضعية (position embeddings)، نحول البيانات المدخلة إلى تسلسل من "ممثلات النقاط" (point proxies) ونستخدم مُحولّات لتوليد النتائج. ولتمكين مُحولّات من الاستفادة بشكل أفضل من التحيّز الاستنتاجي (inductive bias) المتعلق بالهياكل الهندسية ثلاثية الأبعاد للسحاب النقطية، نطوّر بشكل إضافي كتلة واعية بالهندسة (geometry-aware block) التي تُنمذج العلاقات الهندسية المحلية بشكل صريح. يُمكّن انتقال مُحولّات إلى نموذجنا من تعلّم معرفة هيكلية أفضل والحفاظ على المعلومات التفصيلية أثناء استكمال السحابة النقطية. وباتجاه تغطية حالات أكثر تعقيدًا وتنوعًا، نقترح بشكل إضافي AdaPoinTr من خلال تطوير آلية توليد استفسارات تكيفية (adaptive query generation) وتصميم مهمة جديدة لتنقية الضوضاء (denoising task) أثناء عملية الاستكمال. وعند دمج هاتين التقنيتين، نتمكن من تدريب النموذج بكفاءة وفعالية: حيث نقلل من وقت التدريب (بمقدار 15 مرة أو أكثر) ونُحسّن أداء الاستكمال (بأكثر من 20٪). كما نُظهر أن طريقة我们的 يمكن توسيعها لتطبيقات استكمال السحابة النقطية على مستوى المشهد من خلال تصميم إطار جديد يعزز الهندسة والمعاني في استكمال المشهد (geometry-enhanced semantic scene completion framework). أظهرت التجارب الواسعة على مجموعات بيانات موجودة ومقترحة حديثًا فعالية طريقة لدينا، حيث حققت 6.53 في معيار CD على PCN، و0.81 في CD على ShapeNet-55، و0.392 في MMD على بيانات KITTI الواقعية، متفوّقةً على الطرق السابقة بفارق كبير، وتحقيق أرقام قياسية جديدة (state-of-the-art) على عدة معايير. وبشكل خاص، يمكن لـ AdaPoinTr تحقيق هذا الأداء المتميز مع معدلات تدفق أعلى (throughputs) وعدد أقل من العمليات الحسابية (FLOPs) مقارنة بالطرق السابقة في الممارسة العملية. الكود والبيانات متاحان على: https://github.com/yuxumin/PoinTr