مكسي3D: تعزيز البيانات خارج السياق للمشاهد ثلاثية الأبعاد

نقدّم Mix3D، تقنية تحسين البيانات لتقسيم المشاهد ثلاثية الأبعاد على نطاق واسع. وبما أن السياق المكاني يُسهم في استنتاج الدلالة الوظيفية للأجسام، تتركز الدراسات الحالية على نماذج ذات قدرة كبيرة وحقول استقبال واسعة، قادرة على استخلاص السياق العالمي للمشهد ثلاثي الأبعاد المدخل بشكل كامل. ومع ذلك، قد تؤدي الاحتمالات السياقية القوية إلى عواقب سلبية، مثل الخلط بين مشهد شخص يعبر الشارع ومشهد سيارة. في هذا العمل، نركّز على أهمية التوازن بين السياق العام للمشهد والهندسة المحلية، بهدف تمكين النماذج من التعميم بخلاف الاحتمالات السياقية الموجودة في مجموعة التدريب. بشكل خاص، نقترح تقنية "الخلط" التي تُولّد عينات تدريب جديدة من خلال دمج مشهدين مُحسَّنين. وبذلك، تُوضع حالات الأجرام بشكل ضمني في بيئات جديدة خارج السياق، مما يجعل من الصعب على النماذج الاعتماد فقط على السياق المكاني، ويُشجّعها على استنتاج الدلالة من الهيكل المحلي أيضًا. نقوم بتحليل دقيق لفهم أهمية السياق العالمي، والهياكل المحلية، وتأثير خلط المشاهد. وفي التجارب، نُظهر أن النماذج المدربة باستخدام Mix3D تحقق تحسنًا كبيرًا في الأداء على مجموعات بيانات داخلية (ScanNet، S3DIS) وخارجية (SemanticKITTI). يمكن استخدام Mix3D بسهولة مع أي طريقة موجودة، فمثلاً، عند تدريب MinkowskiNet باستخدام Mix3D، تتفوّق على جميع الطرق السابقة الأفضل في معيار اختبار ScanNet بفارق كبير، بتحقيقها 78.1 mIoU. الكود متاح على: https://nekrasov.dev/mix3d/