إطار عمل UniSeg3D لفهم المشهد ثلاثي الأبعاد

UniSeg3D هو إطار عمل موحد لفهم المشهد ثلاثي الأبعاد اقترحه باحثون من جامعة هواتشونغ للعلوم والتكنولوجيا في عام 2024.إطار عمل موحد لفهم المشهد ثلاثي الأبعادنُشر في NeurIPS 2024. يُمكن للإطار تنفيذ 6 مهام مختلفة لتجزئة سحابة النقاط ثلاثية الأبعاد ضمن النموذج نفسه، بما في ذلك التجزئة الشاملة، والتجزئة الدلالية، وتجزئة المثيلات، والتجزئة التفاعلية، والتجزئة المرجعية، وتجزئة المفردات المفتوحة.

يوحد إطار عمل niSeg3D هذه المهام في نموذج واحد، مما يسهل تبادل المعلومات بين المهام من خلال آليات التمثيل والمعالجة المشتركة، وبالتالي تحسين الفهم الشامل للمشاهد ثلاثية الأبعاد. يقوم الإطار بتصميم أساليب تقطير المعرفة والتعلم المتباين لنقل المعرفة المحددة بين المهام المختلفة، وبالتالي تعزيز أداء النموذج.

في الجزء التجريبي، أظهر UniSeg3D أداءً يتفوق على الأساليب الحديثة الحالية (SOTA) في ثلاثة معايير (ScanNet20 وScanRefer وScanNet200).